Wikipedia 是 AI 训练和问答引擎最常用的资料来源之一，其运营方一直在越来越坚定地表明它希望这种情况如何发生。对于从网络数据构建模型和 AI 产品的团队来说，这件事的意义不止于一个网站：这是迄今为止最清晰的一个案例，表明一个重要的开放知识来源正在明确提出它对 AI 公司的期望，并付诸执行。
自最初的新闻标题出现以来，事情已经有了进展。本文将介绍维基媒体基金会（Wikimedia Foundation）实际提出的要求、它是如何执行这些要求的，以及目前获取数据的实际途径。
Wikipedia 到底提出了什么要求
2025 年 11 月 10 日，该基金会向 AI 开发者提出了两项要求：“署名和资金支持”。第二项意味着大多数 AI 开发者”应当通过 Wikimedia Enterprise 平台正当地获取 Wikipedia 的内容”，该平台被描述为”一个付费订阅制产品”。那篇文章并未使用”抓取（scraping）“一词；这个成为标题的说法来自媒体的报道方式。
这种措辞在 2026 年期间变得更加强硬。7 月，基金会写道，恶意行为者”持续向我们的公共 API 基础设施施加压力，以抓取内容”，而对于大规模用户来说，Enterprise “是必须采用的方案，而非锦上添花的选择”。它还表示，不会关闭公共 API 访问，“现在不会，以后也不会”。在 2026 年 10 月的一篇法庭文件相关文章中，它写道，对其项目的抓取”必须以可持续的方式进行，并遵守我们的公共 API 速率限制，或通过我们的 Enterprise API 产品进行”。
为什么是现在
基金会这样做的原因可以归结为两个朝相反方向变化的数字。
访问人数在减少。 2025 年 10 月，它报告称，与 2024 年同期相比，人类页面浏览量下降了约 8%，此前它在发现异常流量（主要来自巴西，后来证实是为规避检测而构建的机器人）后改进了其机器人检测系统。它要求读者谨慎解读这一数字，并且在 2026 年 10 月再次更新了检测方式，因此后续数字可能会有变动。
机器的成本在增加。 2025 年 4 月，它报告称，机器人约占页面浏览量的 35%，但占其最耗资源流量的至少 65%，因为它们会抓取未被缓存的冷门页面。自 2024 年 1 月以来，多媒体下载的带宽已增长 50%。正如那篇文章所说：“我们的内容是免费的，但我们的基础设施不是”。
访问者减少也意味着潜在的编辑者和捐助者减少，这就是为什么基金会将署名视为不仅仅是一种礼貌。
执行情况
这已经不仅仅是一项请求。截至 2026 年 4 月，基金会表示，它正在阻止或限制约 30% 的违反其政策的爬虫自动化请求。全局 API 速率限制已于 2026 年 6 月全面落地。
| 规则 | 具体内容 |
|---|---|
| API，无身份标识 | 每分钟 10 次请求 |
| API，带有身份标识的 User-Agent，未登录 | 每分钟 200 次请求 |
| 爬取（机器人政策） | 遵守 robots.txt，平均每秒低于 20 次请求，并发不超过 10 次 |
| 机器人使用浏览器 User-Agent | 类机器人行为”将被视为恶意” |
| Dumps 站点 | 每个 IP 3 个连接 |
| 更高流量需求 | 外部用户被引导至 Enterprise |
获取数据的途径
你拥有的合法选项比标题所暗示的要多。
| 途径 | 适用场景 | 限制 |
|---|---|---|
| 公共 API | 小规模、带身份标识的查询 | 上述速率限制 |
| Enterprise 免费账户 | 原型开发和中等使用量 | 每月 50,000 次按需请求（On-demand requests）和 30 次快照（Snapshots），每月更新 |
| Enterprise 付费版 | 生产环境、数据新鲜度、实时（Realtime）需求 | 价格需询价 |
| Kaggle 数据集 | 结构化 JSON 实验 | 测试版，支持英语和法语 |
| Dumps 和内容导出 | 完整离线副本 | XML dumps 将于 2027 年 1 月停止 |
| Wikidata | 结构化事实数据 | 以 CC0 协议发布，无需署名 |
商业采用确实存在，但规模仍然较小。2026 年 1 月，Wikimedia Enterprise 将 Amazon、Meta、Microsoft、Mistral AI 和 Perplexity 列为新的合作伙伴，加入 Google 等公司的行列。在其 2024-25 财年，它报告称来自 13 个付费商业客户的收入为 830 万美元。
访问权不等于许可
有一个细节容易被忽略。基金会表示，Enterprise 的商业策略”不是基于许可的，而是基于访问的”。付费购买的是可靠的交付服务，而非不同的权利。无论通过哪种途径，文本仍受 CC BY-SA 4.0 协议约束：再利用需要署名，例如附上该页面的链接，且修改后的文本必须采用相同的许可协议。事实本身可以自由再利用。
对文本进行训练是否会触发这些条款，目前尚无定论。在纽约时报诉 OpenAI 案（发布于 2026 年 10 月 30 日）的一份法庭之友意见书中，基金会主张，训练一个新的、不同的模型可能不需要满足许可条款，而检索并复述内容的问答引擎用途”不应被视为合理使用”。这只是一方的主张，不是裁决，也可能不反映法院的最终判决。我们关于抓取数据归属权的指南涵盖了更广泛的问题，具体用途应咨询法律顾问审核。
无论如何，实际要点是明确的：检索类产品有最充分的理由附上署名。基金会表示，专门的署名 API（Attribution API）是其下一步计划之一，因此现在就为此做好设计准备是值得的。
AI 和数据团队应该做什么
- 弄清楚你目前是如何使用它的。 检查你的爬虫日志和供应商合同。如果 Wikipedia 的内容是通过第三方数据集到达你手中的，询问该数据是如何采集的。
- 根据需求选择途径。 一次性的语料库可能只需要一次导出或一个快照。而实时问答引擎可能需要 Enterprise。
- 标识你的客户端。 使用带有联系方式的描述性 User-Agent，保持在公布的限制范围内，并遵守 robots.txt。
- 为 dumps 变更做好规划。 如果某个流程依赖 XML dumps，请在 2027 年 1 月之前完成迁移。
- 保留来源记录。 为每份文档存储页面 URL 和版本信息，以便能够进行署名和内容移除。我们关于AI 训练流程中的数据溯源的指南展示了具体做法。
- 将访问成本纳入预算项。 Wikipedia 是更广泛趋势的一部分，与爬虫通行费和许可标准相呼应。
关于住宅代理的说明
基金会将住宅代理（residential proxies）列为一些爬虫运营者规避其限制的手段之一。我们销售住宅代理，因此要明确说明：请不要将其用于此目的。Wikipedia 提供批量数据、免费套餐以及通往更高流量的明确路径，并且它已经要求批量流量走这条路径。在这里伪装爬虫身份没有任何正当理由，其政策也表明此类客户端可能会被封禁。
住宅代理适用于不同的用途，例如查看公开页面在不同市场的本地访问者眼中呈现的样子。获取 Wikipedia 数据的正确工具，就是 Wikipedia 自己提供的那个。
结论
Wikipedia 的表态已经从一项请求发展为由速率限制和封禁支持的政策，同时为任何采取官方途径的人敞开大门。对大多数团队而言，答案很简单：使用导出数据、免费套餐或 Enterprise，标识你的客户端，保留署名所需的记录，并关注法院如何处理许可问题这一议题。这是一个有用的范本，可以预示其他开放资源未来可能采取的做法。
来源与参考资料
- Wikimedia Foundation, In the AI era, Wikipedia has never been more valuable (2025 年 11 月 10 日): wikimediafoundation.org
- Wikimedia Foundation, on Wikimedia Enterprise and protecting Wikipedia (2026 年 7 月 16 日): wikimediafoundation.org
- Wikimedia Foundation, amicus brief in New York Times v. OpenAI (2026 年 10 月 30 日): wikimediafoundation.org
- Diff, New user trends on Wikipedia (2025 年 10 月 17 日): diff.wikimedia.org
- Diff, How crawlers impact the operations of the Wikimedia projects (2025 年 4 月 1 日): diff.wikimedia.org
- Diff, Quo vadis, crawlers? (2026 年 3 月 26 日): diff.wikimedia.org
- Diff, Wikimedia Enterprise financial report, fiscal year 2024-2025: diff.wikimedia.org
- Wikimedia Enterprise, partners (2026 年 1 月 15 日) and pricing: enterprise.wikimedia.com, enterprise.wikimedia.com/pricing
- Wikimedia Enterprise, Kaggle dataset: enterprise.wikimedia.com
- Wikimedia APIs, rate limits: mediawiki.org
- Wikimedia robot policy: wikitech.wikimedia.org
- Wikimedia User-Agent policy and Terms of Use: foundation.wikimedia.org, foundation.wikimedia.org
- Wikimedia dumps: dumps.wikimedia.org