在网络发展的大部分历史中,公开数据只是摆在那里等人收集,唯一的问题是你能不能拿到。这种情况正在改变。平台、出版商和数据所有者越来越多地将其数据置于许可、付费 API 和正式数据访问协议之后,并制定专门针对自动化采集和 AI 训练的条款。
对于采集网络数据的组织而言,这不仅仅是一种限制。数据访问协议可以让你获得比自行采集更干净的数据、明确的权利和更低的法律风险。对于发布数据的组织而言,这是一种决定谁可以使用数据以及在什么条件下使用的方式。本指南将介绍这些协议包含的内容、各方应在何时使用它们,以及它们与普通采集公开页面之间的关系。
这是一般性信息,并非法律建议。协议及其相关法律因情况而异,在签署任何协议之前都应由法律顾问进行审查。
为何数据访问协议日益普及
三个变化推动了数据所有者转向正式协议:
- AI 训练提升了数据的价值。 文本、图像和结构化数据成为训练素材,所有者开始要求为此获得报酬,或设定其使用条款。
- 主要平台将访问权限转移到付费 API 之后。 2023 年,多家大型社交平台引入或大幅提高了原本免费或低价的 API 访问费用,将访问变成了一种商业关系。
- 退出信号获得了法律效力。 在欧盟,权利人可以通过机器可读的方式将其内容排除在商业性文本和数据挖掘之外,AI 提供商必须尊重这些保留声明。我们关于robots.txt、AI 退出机制与保留信号的指南详细介绍了其运作方式。
其结果是一个条款更加明确的网络:一些数据仍可自由采集,一些只能在许可下获取,而这一界限正越来越清晰地被书面记录下来。
数据访问协议涵盖的内容
协议各不相同,但大多数都处理相同的问题:
| 条款 | 它解决的问题 |
|---|---|
| 范围 | 哪些数据、哪些字段、哪些历史记录、更新频率如何 |
| 交付方式 | API、批量文件还是数据流,采用何种格式 |
| 允许的用途 | 内部分析、产品开发、转售、AI 训练,各项是否允许 |
| 数量与频率 | 多少数量、多高频率,超出限制会发生什么 |
| 署名与展示 | 是否以及如何需要注明来源 |
| 个人数据 | 谁是控制者,可以保留什么,删除请求如何传递 |
| 期限与终止 | 持续多久,到期时必须删除什么 |
| 费用 | 固定费用、按次计费、按记录计费还是收入分成 |
| 审计与报告 | 被许可方必须就其使用情况展示什么 |
对大多数买方而言,最重要的条款是允许的用途。一份允许内部分析的协议可能禁止转售或模型训练,即使数据本身是公开的,超出协议范围使用数据也可能构成违约。
对数据采集者而言:何时协议优于自行采集
采集公开页面仍然是合法的,且往往是正确的选择。但在以下情况下,值得考虑签订协议:
- 你需要的数据并非公开的,例如历史记录、标识符或从未出现在页面上的字段。
- 你需要明确的转售或训练数据的权利。 协议可以赋予采集永远无法赋予的权利;我们关于谁拥有被抓取的数据的指南解释了为何仅靠采集无法让你获得所有权。
- 来源经常封锁或变更,维护一个采集系统的成本高于许可费用。
- 你的客户或合规团队需要数据来源证明,而签署的协议比抓取日志更能提供这种证明。
而当你需要的是用户所见的公开视图,跨越众多来源、众多市场,且不存在协议或来源无意提供协议时,采集仍然是更合适的方式。像本地访客那样查看每个市场,正是住宅代理的用途所在。
若你签署协议,以下是最佳实践:
- 在签署前,将允许的用途与你计划的每一项用途进行比对,包括未来的产品和 AI 相关工作。
- 将已许可数据与自行采集的数据分开保存,每条记录都标注来源,以便随时知道适用哪种条款。
- 为终止做好规划: 了解届时必须删除什么,并相应地设计存储方式。
- 警惕排他性和最惠条款,它们可能限制你能从事的其他活动。
对数据所有者而言:重新掌控你的数据
如果你发布的数据会被他人采集,协议是决定如何使用这些数据的多种工具之一:
- 确定哪些数据是真正公开的。 你希望被索引和被看到的内容,很难同时又不让采集者获取;你想许可授权的内容,可能更适合放在 API 或登录之后。
- 以清晰且机器可读的方式声明你的条款。 使用条款、robots.txt,以及在欧盟针对文本和数据挖掘的机器可读保留声明,都能表明你的立场。清晰的信号能让协议更容易协商,也更容易证明违约行为。
- 提供合法的获取途径。 一个有文档记录的 API 或许可,能为认真的使用者提供付费合规的方式,而不必绕开你进行采集,同时也能让你记录谁在使用你的数据。
- 按用途而非仅按数量定价。 分析、转售和 AI 训练的价值截然不同。
- 让执法手段与现实相匹配。 技术措施、速率限制和合同主张各有其局限;法院对”数据是如何被访问的”这类主张,与”谁拥有公开数据”这类主张的处理方式并不相同。
简要的法律背景
协议建立在一个仍在演变的法律框架之上。在美国,法院曾裁定平台的条款并不能阻止未登录状态下对公开数据的采集,而基于访问方式(例如使用虚假账户或造成服务器负担)提出的主张则得到了支持。在欧盟,合同条款可以限制对未受其他保护的数据库的使用,特殊权利(sui generis)数据库权保护对数据库的重大投资,而数据保护法则适用于个人数据,无论其获取方式如何。
在依赖采集或协议之前,法律团队都会问及范围、访问方式、权利和个人数据等相同的问题;我们的清单法律团队在批准抓取项目前会问什么对此进行了说明。
常见问题
什么是数据访问协议?
这是一种合同,数据所有者据此向另一方提供对其数据的访问权限,通常通过 API、文件或数据流,并规定明确条款:哪些数据、如何使用、数量多少、期限多久以及价格为何。
许可数据与抓取数据,哪个更好?
这取决于你的需求。许可适用于非公开数据、明确的转售或 AI 训练权利,以及经常变化的来源。采集公开页面适用于跨多个来源和市场的”所见即所得”视图,且没有提供协议的情况。
数据访问协议能否限制公开数据?
它可以限制被许可方对协议下获得的数据(即便该数据同时也是公开的)的使用方式。至于某网站的一般条款是否限制他人采集其公开页面,则取决于司法管辖区以及这些条款是否对采集者具有约束力。
网站如何控制其数据的使用方式?
通过决定哪些内容公开,以清晰且机器可读的方式声明条款和退出机制,为合法使用者提供许可途径,并对违反其条款或损害其服务的采集行为采取执法措施。
总结
数据访问协议正逐渐成为网络数据流转的常态组成部分。对采集者而言,它们能以一定代价提供采集无法提供的权利和数据;对所有者而言,它们提供了一种决定谁可以使用其数据以及如何使用的方式。在协议能提供采集无法提供之物时使用协议,将已许可数据与自行采集的数据分开保存,并在其他任何事情之前先阅读允许用途条款。