在网络历史的大部分时间里,爬虫支付带宽和算力的费用,而内容本身是免费的。这一假设正开始被打破。如今网站可以向AI爬虫索要价格,而需要为AI和机器学习收集网络数据的团队必须弄清楚这对其预算意味着什么。
这一变化是真实的,但仍处于早期阶段。本指南将介绍爬虫通行费的运作方式、它给抓取成本带来了什么,以及如何为一个部分页面免费、部分页面收费、部分页面关闭的网络做规划。这是一般性信息,不构成法律建议。
爬虫通行费的运作方式
这个想法借用了一个古老的占位符。HTTP 几十年来一直有一个 402 Payment Required 状态码,RFC 9110 至今仍称其”保留供将来使用”。Cloudflare 在 2025 年 7 月以 pay per crawl 的形式赋予了它用途,其文档至今仍将其描述为封闭测试版。
这一交换过程很简单:
- 经过验证的 AI 爬虫在未附带付款条款的情况下请求一个页面,会收到带有
crawler-price标头的 402 响应。 - 它可以通过附带
crawler-exact-price标头重新请求以接受该价格,或者预先发送crawler-max-price标头来表明自己愿意支付的价格。 - 它获得带有 200 状态的页面并被计费。Cloudflare 充当记录商户。
对于每个爬虫,网站所有者都可以选择收费、允许或阻止。价格默认适用于整个域名,也可以被覆盖,每次抓取最低为 $0.001。
有两个细节比价格本身更重要。首先,爬虫必须证明自己的身份:Cloudflare 要求使用 Web Bot Auth,它利用 HTTP 消息签名(RFC 9421)为每个请求使用爬虫自己的密钥进行签名。一个 IETF 工作组正在对这一方法进行标准化,该协议目前仍是草案。其次,对于没有计费关系的爬虫,Cloudflare 将收费描述为”相当于网络层面的封锁”。实际上,通行费就是带有价格标签的封锁。
不止一个收费站
Cloudflare 是最引人注目的参与者,但市场更为广泛,且发展迅速。
- robots.txt 中的许可条款。 RSL 标准于 2025 年 9 月推出,支持者包括 Reddit、Yahoo、People Inc.、Ziff Davis、O’Reilly Media 和 Medium,它在 robots.txt 中增加了机器可读的许可和版税条款,模式包括按抓取付费和按推理付费。1.0 版本已于 2025 年 12 月发布。
- 网络边缘的付费墙。 TollBit 的机器人付费墙与 Fastly 和 Akamai 集成,Akamai 还与 Skyfire 合作,为代理提供支付令牌。
- 市场平台。 微软在 2026 年 2 月描述了一个发布商内容市场,其中”发布商将根据所交付的价值获得报酬”。
- 按使用付费。 2026 年 7 月,Cloudflare 表示正将 pay per crawl 发展为 Pay Per Use,这样发布商在内容产生价值时获得报酬,而不仅仅是在内容被抓取时获得报酬。按请求计费可能并非最终形式。
默认设置也在发生变化。自 2026 年 9 月起,Cloudflare 为新域名提供两种预设之一,具体取决于网站是否通过广告赚钱。对于依靠广告盈利的网站,这意味着允许搜索、禁止 AI 训练,并在有广告的页面上阻止代理。我们关于robots.txt、AI 退出选项和保留信号的指南介绍了这些信号如何协同运作。
发布商为何这样做
动机在于抓取换取流量这一交易已经失灵。Cloudflare 2025 年 7 月的数据显示,Anthropic 每次引荐约有 38,066 次抓取,OpenAI 为 1,091 次,Perplexity 为 195 次,不过它也提醒这些计算可能夸大了比例。TollBit 报告称,2026 年上半年欧洲网站上每次人工引荐对应 179 次 AI 机器人访问,北美为 53 次。这两家公司都在销售这些通行费服务,因此解读这些数字时应考虑到这一点,但方向并无太大疑问。
通行费对你的成本意味着什么
在没有通行费的情况下,抓取的主要可变成本是带宽和基础设施。通行费为每个页面增加了一笔费用,无论页面有多大。下表假设页面大小为 1 MB,住宅带宽价格为每 GB $0.75,这是我们的 Full Geo 费率。$0.001 是 Cloudflare 的最低价格;$0.01 仅为示例,因为目前尚无独立的平均价格公布。
| 抓取量 | 带宽费用 | $0.001 通行费 | $0.01 通行费 |
|---|---|---|---|
| 1,000 个页面 | $0.75 | $1 | $10 |
| 100 万个页面 | $750 | $1,000 | $10,000 |
| 10,000 个页面,连续 30 天每日抓取 | $225 | $300 | $3,000 |
由此可得出三点。
通行费可能超过其他所有成本。 即使按最低价格计算,对于一个 1 MB 的页面来说,它也比带宽费用更高。按 $0.01 计算,它的费用超过带宽的十倍以上,而带宽上的任何节省几乎不会影响总成本。
重新抓取的成本会变得高昂。 通行费按每次抓取收取,因此内容的新鲜度直接带有价格标签。重新抓取未变化页面的监控任务最容易受到影响。Sitemap、条件请求和变化检测将成为预算工具,而不仅仅是效率手段。
失败的工作会带来更多成本。 如果你在为页面付费之后解析器出了问题,你需要原始副本,否则就得再付一次费。要保存你所购买的内容。我们关于每条干净记录的成本的文章展示了如何将这一点纳入单位经济学计算。
如何为此做规划
- 审计你的数据来源。 记录你的抓取流程中哪些域名返回 402、携带 RSL 条款,或者收紧了 robots.txt。TollBit 报告称,2025 年第四季度 30% 的 AI 机器人抓取未遵守明确的 robots.txt 许可,这一数字显示了这些信号的争议程度之大。要制定你自己的策略,而不是照搬平均做法。
- 限制每个域名的支出上限。 把价格当作一项抓取设置来处理。
crawler-max-price标头或等效的预算限制可以防止某个昂贵的网站耗尽整次运行的预算。 - 按价值对数据来源排序。 问问每个域名为数据集增加了什么。为真正重要的 20 个来源付费,通常比浅层抓取 2,000 个来源更划算。
- 比较通行费与许可协议。 在规模较大时,协商达成的协议可能比按请求收费更便宜,并且能获得通行费无法赋予的权利。我们关于数据访问协议的指南介绍了需要关注的要点。要问清楚付费究竟买到了什么:通行费支付的是访问权限,可能对训练权利只字未提。
- 将身份验证内置其中。 来自已知爬虫的签名请求正在成为进入的门票。如果你运营一个愿意付费的爬虫,请为密钥管理和已发布的身份做好规划。
代理适用之处,以及不适用之处
通行费针对的是那些表明自身身份的爬虫,而付费流量必须经过签名。代理在这方面无能为力。代理改变的是请求的来源,而不是你被允许做什么,因此如果网站已经设定了价格或保留了其内容,换一个不同的 IP 并不会改变这些条款。
住宅代理在另一项工作中仍然有用:跨市场地,以本地用户所见的方式查看公开页面,用于价格监控、广告验证和质量检查等工作。这项工作并不依赖于规避任何人设定的价格,并且应当遵守相同的信号。
法律背景也指向同一方向。美国版权局 2025 年的发布前报告指出,商业性使用海量受版权保护的作品来生产具有竞争力的内容,超出了既定的合理使用边界,“尤其是当这是通过非法访问实现的时候”。数据如何获得与数据如何被使用同样重要。
结论
爬虫通行费仍处于早期阶段:领先的产品还处于封闭测试版,价格尚未稳定,模式可能会从按抓取付费转向按使用付费。但方向已经足够清晰,值得为此做规划。记录哪些来源设定了条款,限制每个域名的支出上限,保留你付费获取内容的原始副本,并在规模较大时比较通行费与许可协议。那些现在就把内容当作一项成本项来对待的团队,将来不会在它真正成为成本项时感到意外。
来源与参考资料
- Cloudflare,《Introducing pay per crawl》(2025 年 7 月 1 日):blog.cloudflare.com
- Cloudflare 文档,《What is Pay Per Crawl》:developers.cloudflare.com
- Cloudflare 文档,《Set a Pay Per Crawl price》:developers.cloudflare.com
- Cloudflare,《Your Content, Your Rules》新闻稿(2026 年 7 月 1 日):cloudflare.com
- Cloudflare,《Have it both ways: stay discoverable in search while disallowing AI training》(2026 年 9 月 15 日):blog.cloudflare.com
- Cloudflare,《The crawl-to-click gap》(2025 年 8 月 29 日):blog.cloudflare.com
- RFC 9110,《HTTP Semantics》:rfc-editor.org
- RFC 9421,《HTTP Message Signatures》:rfc-editor.org
- IETF Web Bot Auth 工作组:datatracker.ietf.org
- RSL 标准,发布(2025 年 9 月 10 日)及 1.0 版本(2025 年 12 月 10 日):rslstandard.org,rslstandard.org
- Microsoft Advertising,《Building toward a sustainable content economy》(2026 年 2 月 3 日):about.ads.microsoft.com
- Fastly 关于 TollBit 的 Bot Paywall 集成(2025 年 7 月 17 日):fastly.com
- Akamai 关于在边缘对 AI 机器人进行货币化(2025 年 9 月 17 日):akamai.com
- TollBit,《State of the Bots》,2025 年第三至第四季度及 2026 年上半年:tollbit.com,tollbit.com
- 美国版权局,《Copyright and Artificial Intelligence》第三部分,发布前版本(2025 年 5 月 9 日):copyright.gov