代理在美国、英国和欧盟使用是合法的。通过中间服务器路由流量本身并不违法,各种规模的企业都会出于测试、监控、安全研究和数据收集的目的常规使用代理。
更难回答的问题不是代理是否合法,而是你用它们做什么,答案会因此变得具体:取决于数据本身、司法管辖区,以及是否涉及登录。
本文是一般性信息,不构成法律建议。在开始任何规模的项目之前,请就你自身的情况寻求专业建议。
什么数据可以合法收集,什么不能
最重要的区分不在于技术层面,而在于数据是否位于访问屏障之后。
通常可以站得住脚的情况:
- 任何人无需账户即可查看的公开数据:产品列表、价格、公开资料、已发布的文章、搜索结果。
- 你以不影响其他人使用服务的速率收集的数据。
- 事实、价格及其他本身不受版权保护的信息。
风险明显更高的情况:
- 任何位于登录之后的内容,尤其是你为获得该账户而同意了条款的情况。
- 绕过技术访问控制,而不仅仅是请求一个公开页面。
- 关于可识别个人的个人数据,无论该页面是否公开,都会引入数据保护法。
- 大规模复制受版权保护的内容,或提取受保护数据库中的实质性部分。
服务条款是合同问题,不是犯罪问题
网站的条款可能禁止自动化访问。违反这些条款通常属于合同层面的问题:它可能支持违约索赔,并且确实构成真实的法律风险,但这与计算机滥用相关立法属于不同类别。
如果你明确同意了条款,通常是通过创建账户,这种区分就会收窄。抓取你从未同意任何条款的公开页面,比在你点击同意了条款的账户内部抓取,立足点要稳固得多。
版权与数据库权利
事实不受版权保护。价格是一个事实。产品列表在很大程度上是事实性的。逐字复制文章文本、照片或描述则是另一回事,大规模收集这些内容并重新发布是最容易引发索赔的做法。
欧盟另外增设了一项独立于版权的特定数据库权利,即使各个事实本身不受保护,该权利也保护为编纂数据库所做的实质性投资。提取此类数据库的实质性部分即可构成侵权,即便其中没有任何单一项目受到保护。
个人数据改变一切
如果你收集的数据能识别出一个活生生的人,那么无论该页面是否公开,数据保护法都适用。根据GDPR,你需要有合法的处理依据,而”合法利益”这一依据要求你能够证明经过了利益权衡评估。随之而来的还有主体权利、留存期限和透明度义务。一个公开的LinkedIn资料同时既是公开数据,也是个人数据。
各地区规则的差异
| 地区 | 主要框架 | 对公开数据抓取的立场 | 主要陷阱 |
|---|---|---|---|
| 美国 | 《计算机欺诈与滥用法》、州法律 | 法院不愿将抓取公开页面视为未经授权的访问 | 合同索赔以及州级隐私法,如CCPA |
| 英国 | 《计算机滥用法》、英国GDPR、数据库权利 | 收集公开数据本身并非违法 | 英国GDPR适用于个人数据;数据库权利保护编纂而成的数据集 |
| 欧盟 | GDPR、《数据库指令》、《数字单一市场版权指令》 | 与英国类似,并对研究设有明确的文本与数据挖掘豁免 | GDPR极为严格,且数据库权利的保护范围比多数人预期的更广 |
司法管辖区很少只是单一答案。三个地点同时相关:你所在的位置、你服务器所在的位置,以及目标网站及其用户所在的位置。一家美国公司抓取一个关于欧盟居民的德国网站,无论其抓取程序运行在哪里,都要面对欧盟法律。
IP来源的道德合规性
住宅代理网络由真实用户的家庭网络连接构成。这些用户是如何加入网络的,是这个行业最重要的公开问题,在购买之前值得直接询问。
一个运营良好的网络会招募清楚自己同意了什么的参与者,通常是某个应用程序的用户,他们被提供了有价值的东西作为交换,比如无广告版本或付费奖励,以换取他们闲置带宽的一部分。他们被明确告知情况,可以随时退出,而供应商会审核哪些应用程序携带其代码。
一个运营不善的网络则会把这项能力打包进免费软件中,以没人会读的小字条款出现,更糟的情况是,将其植入用户在不知情的情况下安装的应用程序中。以这种方式构建的网络已成为执法行动的对象,也被研究人员与被入侵的设备联系在一起。
这一点具有商业上的重要性,而不仅仅是道德上的。未经同意组建的资源池不稳定,更可能包含被入侵的设备,并且如果供应商成为新闻焦点,会使你面临声誉风险。
购买前应问的问题
- 参与者如何加入该网络,他们被告知了什么?
- 他们获得什么回报,能否随时退出?
- 你是否审核携带你的SDK的应用程序?
- 你持有哪些合规认证,能否提供相关报告?
- 当某个地址被举报滥用时,你的处理政策是什么?
Shifter保持SOC 2 Type II、GDPR和HIPAA合规,这类资质正是值得要求任何供应商提供证明的东西,而不是仅凭信任接受。
代理安全吗?
安全问题可以分为两个方面。
**流量安全吗?**使用信誉良好的付费供应商时,是安全的。你与代理之间的连接是加密的,且供应商有商业上的理由去保护它。使用免费公共代理时,则不安全。运营者要支付真实的带宽成本,并会通过某种方式收回:记录经过的流量、注入或替换内容,或转售你的连接。免费列表通常还与数千名陌生人共享,并且在大多数商业网站上早已被封锁。
**你是匿名的吗?**不是,这一点值得直言不讳。代理改变的是网站看到的IP地址。它不会触及cookie、浏览器指纹、登录状态或账户历史,而且你的供应商能看到你的流量。应把代理当作管理位置和请求速率的工具,而不是隐私保证。
实用指南
- **优先选择公开数据。**在登录之外,法律地位要清晰得多。
- **遵守robots.txt和速率限制。**在大多数司法管辖区,这两者都不具有法律约束力,但忽视它们会使任何纠纷更难辩护,并会影响他人的服务。
- **只收集最少必要的数据。**收集范围越窄,在数据保护法和数据库法下的风险暴露就越小。
- **除非已经想清楚,否则避免收集个人数据。**如果必须收集,请在开始之前记录你的合法依据。
- **保留记录。**你收集了什么、何时收集、为何收集,以及基于什么依据。如果日后出现问题,同期记录很重要。
- 对任何大规模项目、受监管行业或涉及个人数据的情况,寻求法律咨询。
结论
代理是合法的。在涉及公开数据的绝大多数情况下,网页抓取也是合法的。风险存在于具体细节之中:登录、个人数据、受版权保护的内容以及实质性的数据库提取,并且会因司法管辖区而异。
选择一个能够说明其IP地址来源的供应商,尽可能将收集范围限定于公开数据,并在承诺任何大规模项目之前寻求专业建议。