每个 AI 团队都会很早遇到同一个岔路口：是授权使用别人构建的数据集，还是自己采集数据。数据市场让购买看起来只需点一下，对某些项目来说确实如此。但对另一些项目来说，授权数据可能已经过时，在关键领域覆盖薄弱，或者附带的条款恰好阻碍你打算推出的产品。本指南面向用网络数据构建模型的团队，帮助你们有意识地做出这个选择，而不是随大流。
我们将介绍训练数据市场的现状、许可协议真正给予你的权利、价格标签上看不到的成本，以及一个决策框架，并介绍大多数成熟团队最终采用的混合模式。
训练数据市场的现状
“数据市场”实际上涵盖了几种截然不同的数据获取方式：
- 综合数据交易平台。 云服务商和数据平台运营着数据目录，供应商在上面列出数据集，买家订阅后，数据会直接交付到买家的存储或数据仓库中。大多数数据集是为分析用途构建的，用于训练必须在许可协议中明确允许。
- 专业 AI 数据供应商。 这些公司销售经过整理的文本、图像、音频和语音数据集，通常附带标注，并且越来越多地按需提供定制采集。
- 开放数据集平台。 这类存储库中的数据集可以免费下载，但每个数据集都附带自己的许可协议，而许可字段并不总是有填写，也不一定正确。
- 直接授权交易。 大型平台和出版商如今会直接向 AI 开发者授权其内容。Reddit 在 2024 年与 Google 达成的协议，以及新闻出版商与 AI 实验室之间的一系列交易，让这种方式成为市场中引人注目的一部分，但它面向的是大型买家，而不是自助式数据目录。
共同点在于，你购买的既是数据，也是权利。内容相同的两个数据集，价值可能因许可协议允许的用途不同而相差悬殊。
许可协议真正给予你什么
比较价格之前，请先在许可协议中确认四件事：
- 允许的用途。 训练、微调、评估和商业部署是各自独立的权限。“研究用途”通常不包括商业模型。
- 范围与排他性。 许可是按模型、按产品还是覆盖整个公司？供应商能否把同样的数据卖给你的竞争对手？答案几乎总是可以。
- 期限及到期后的安排。 许多许可按年签订。请确认在期限内训练的模型在到期后是否仍可使用，以及你是否必须删除原始数据。
- 担保。 供应商是否确认其有权采集和出售这些数据，并愿意为这一声明负责？没有这种担保的许可协议，会把法律风险转回到你身上。
开放平台同样需要仔细审查。Data Provenance Initiative 对广泛使用的文本数据集进行的审计发现，相当大比例的数据集许可信息缺失或有误。因此，我们建议你自行记录每份文档的来源，具体做法请参阅我们关于 AI 训练流程中的数据溯源的指南。
价格标签上看不到的成本
时效性。 购买的数据集只是一个快照。如果你的模型需要了解当前的价格、产品、法规或语言，这个快照从你购买当天起就开始过时，而数据更新订阅的价格也反映了这一点。
覆盖缺口。 数据目录在英语和最大的市场中最为丰富。需要特定国家、地区语言或细分领域数据的团队，常常会发现数据单薄，或者采样方式并没有被供应商记录说明。
数据共享。 你能买到的，别人也能买到。授权数据本身很少能让模型获得优势。
整合。 每家供应商都有自己的数据结构、去重规则和质量水平。无论数据通过何种途径获得，清洗和合并多个来源都是实打实的工程工作。
合规文书。 欧盟《人工智能法》(EU AI Act) 针对通用模型的摘要模板，要求提供者在列出公开数据集和抓取来源的同时，也列出授权的私有数据集。购买数据并不能免除文档工作，只是改变了你需要记录的内容。
自行采集的成本
自行采集也有自己的账单：
- 工程。 爬虫、解析器、调度、存储和监控，以及随着目标网站变化而进行的维护。
- 访问。 网站会限制来自同一 IP 的重复请求，并且经常按国家显示不同内容。要从正确的地点大规模采集公开数据，需要为此构建的网络，例如支持国家和城市定位的住宅代理。
- 政策。 你需要针对 robots.txt、文本与数据挖掘保留声明以及网站条款制定明确的规则，并在采集时记录下来。我们关于 robots.txt 与 AI 退出信号的概览介绍了需要遵守的信号。
- 质量处理。 去重、语言识别、样板内容去除和过滤所花的时间，与爬取本身一样长。
作为回报，你得到的数据是最新的、贴合你的任务、按你需要的方式记录，而且不会出现在竞争对手的训练数据中。
决策框架：何时购买，何时采集
| 场景 | 更好的选择 | 原因 |
|---|---|---|
| 一次性基准测试或评估集 | 购买或使用开放数据 | 范围有限，时效性不那么重要 |
| 数据必须每周或每天更新 | 自行采集 | 更新授权费用高昂且有滞后 |
| 特定国家或地区语言 | 自行采集，或购买后补充 | 大市场之外的数据目录覆盖薄弱 |
| 只存在于平台内部的数据 | 直接授权 | 采集会违反条款或根本无法实现 |
| 核心目标是独有优势 | 自行采集 | 授权数据人人都能获得 |
| 小团队，首个原型 | 购买或使用开放数据 | 先上线，之后再投入采集 |
| 审计要求严格的客户或监管机构 | 两者皆可，但需完整记录 | 关键在于记录，而不是途径 |
一个实用的检验方法：如果六个月后你还需要再次购买同一个数据集，那么你就是在为一条数据管道付费，却并不拥有它。
大多数团队最终采用的混合模式
成熟的团队很少只选一边。常见的模式是：
- 从开放数据和授权数据起步，快速获得可用的基线。
- 找出模型的薄弱之处： 缺失的国家、过时的事实、表现较弱的领域。
- 只针对这些缺口进行采集，从公开来源定期采集，并在抓取时记录溯源信息。
- 维护统一的目录，列出每个来源、其许可协议或采集政策以及更新日期，这样公开摘要和客户问卷只需几个小时就能完成，而不是几周。
如果你正在构建这样的采集层，我们关于从开放网络构建大规模训练数据集的指南详细介绍了从爬取到干净记录的整个流程。
总结
当需求范围有限、数据普遍可得且对时效不敏感时，购买训练数据，并像检查样本一样仔细阅读许可协议。当时效性、地区覆盖或独有优势很重要时，自行采集，并从第一个请求开始记录溯源信息。大多数团队两者兼用，而做得好的团队会把每个来源，无论是购买的还是采集的，都视为自己能够解释清楚的东西。