AI 智能体如今已在为数百万人预订、购物和做调研。但对网站而言,智能体是一个陌生访客:它来自数据中心,可能同时为许多人办事,而且不知疲倦。2026 年 11 月 5 日,服务着前 10,000 个网站中三分之一的 Cloudflare 发布了它的答案:智能体应当说明自己是谁,以及代表谁行事。对于构建 AI 智能体或运行任何形式自动化的团队来说,这显示了访问规则的走向。
Cloudflare 宣布了什么
这篇题为 “Agents aren’t humans (but they kinda are)” 的文章做了三件事:
- 提出一项原则。 “The business relationship between Users and Sites, and each participant’s security responsibilities, must be upheld regardless of intermediation.”(无论是否经由中介,用户与网站之间的业务关系以及各参与方的安全责任都必须得到维护。)
- 发起一个联盟。 Trusted Agent Delegation(TAD)汇聚了”major Operators, identity verification companies, payment providers, merchants, publishers, proxy providers, and cloud browsing companies”(主要运营方、身份验证公司、支付服务商、商户、出版商、代理服务商和云浏览公司),共同界定问题并提交给 IETF。
- 为 Cloudflare 客户推出三项功能,详见下文。
Cloudflare 将智能体称为中介,与云浏览器和代理属于同一类。它认为,真正改变的是规模:“Agentic traffic is growing rapidly and may eclipse traditional human browsing on the Internet in the near future.”(智能体流量增长迅速,在不久的将来可能超过互联网上传统的人工浏览。)一旦出现这种情况,简单地屏蔽中介就不再可行。
问题所在:网站看到的是智能体,而不是用户
Cloudflare 列出了十几项在智能体居中时变得更难处理的事情。以下是部分示例:
| 挑战 | 出现的问题 |
|---|---|
| 账户共享 | 一份付费订阅服务许多用户,而网站只看到一个客户端 |
| 友好欺诈 | 用户批准了智能体的购买,随后又提出争议,而设备和 IP 这类常规证据并不存在 |
| 流量混杂 | 一名用户滥用共享智能体,屏蔽该智能体就会连带屏蔽它所有的合法用户 |
| 资源耗尽 | 智能体全天候轮询库存和价格,并耗尽免费试用 |
| 无偿消耗 | 智能体读取文章、产品数据或评论后在别处作答,网站因此得不到访问、广告展示或销售 |
| 身份伪造 | 智能体运行在住宅 IP 和真实浏览器上,攻击者会复制已知智能体的 user agent |
文章还否定了两种常见的解决办法。把验证码交给用户完成,只能证明此刻有人在场,“and nothing more”(仅此而已)。收窄权限范围同样行不通,因为智能体会请求执行一切操作的权限。
四个身份级别
Cloudflare 的方案是一个渐进的分级,即智能体向网站披露多少用户信息,由网站根据风险来选择:
| 级别 | 网站获知的内容 | 使用示例 |
|---|---|---|
| 无 | 没有标识符 | 阅读公开页面,类似隐私浏览 |
| 会话 | 这些请求属于同一个会话 | 在一次访问中建立信誉 |
| 账户 | 同一用户跨会话的稳定标识符 | 将网站账户与智能体账户关联 |
| 唯一 | 来自第三方、跨智能体和运营方的每人唯一标识符 | 高风险操作或严格合规 |
文章强调数据最小化:在许多情况下,网站只需要知道是否应当信任某个请求,而不需要知道是谁发出的。为此,它提到了保护隐私的工具,例如 Privacy Pass 和 MOLE,后者是 Private Access Tokens 的拟议继任方案,目标是在没有用户标识符的情况下实现速率限制。
基础组件
大多数组件已经存在或正在推进中:
- Web Bot Auth,Cloudflare 在智能体身份方面的”preferred method”(首选方法)。智能体使用 HTTP Message Signatures(RFC 9421)为每个请求签名,网站因此可以验证是哪个智能体、也就隐含地验证是哪个运营方发出了请求。Cloudflare 于 2025 年 5 月推出该方案,并在 2025 年 8 月创建了已签名智能体类别。我们的文章 AI 智能体与机器人防护墙介绍了签名目前的工作方式。
- 声明(Claims)。 某些操作需要关于个人的一项事实,例如年满 18 岁或是持卡人,而运营方或第三方可能已经验证过这些信息。
- 支付,通过 x402 等协议实现,其目标是在网络上实现保护隐私的支付。
- 访问策略。 Cloudflare 指出:“Robots.txt says where a crawler may go, but isn’t fully suited to express what Agents may do.”(Robots.txt 说明了爬虫可以去哪里,但并不完全适合表达智能体可以做什么。)IETF 的 AI Preferences 工作组涉及训练和搜索等用途的偏好,但目前还没有工作组涉及智能体在网站上可以做什么。
Cloudflare 客户现在可以做什么
自 11 月 5 日当周起,Cloudflare 客户可以:
- 查看哪些智能体来访。 Security Analytics 现在将个人助理显示为独立的流量类别,并列出每个智能体的请求、路径和错误。
- 按智能体设置访问权限。 网站可以允许某个智能体访问所有页面,仅在含广告的页面屏蔽它,或完全屏蔽它,且这与网站的搜索和训练设置相互独立。
- 针对用户而非智能体采取行动。 对于加入 Account Abuse Protection 抢先体验的网站,每一次登录和注册都会显示是否由个人智能体发起,以及是哪一个。网站随后可以只处理某一个账户,而不必对其他所有人屏蔽该智能体。
第二点对任何运行自动化的人来说最为重要。访问正在变成按智能体、按页面做出的决定,而不是单一的允许或拒绝。
这对使用自动化的团队意味着什么
- 智能体与数据采集是两回事。 Cloudflare 的提案针对的是代表个人行事的智能体,它们通常已登录并会进行购买。采集价格、搜索结果或广告等公开页面是另一类工作,规则也不同,但网站所有者会越来越多地使用同样的工具来区分二者。
- 如果你运营智能体产品,请计划做好签名。 可验证的身份是 Cloudflare 倾向的可靠访问途径,而不表明身份的智能体将更容易被归类和限制。
- 预期会有页面级规则。 网站可能欢迎智能体访问产品页面,却在依靠广告盈利的页面将其屏蔽。请构建能够妥善处理拒绝、而不是反复重试的智能体。
- 混入人群正是要解决的问题。 Cloudflare 指出,运行在住宅 IP 和真实浏览器上、避免引人注意的智能体,是网站失去控制的原因之一。住宅 IP 让你看到本地访客所看到的页面;它不是冒充他人或绕过网站规则的手段。我们的指南 用于 AI 数据采集的合乎道德的住宅代理说明了我们在这一点上划定的界线,而 AI 购物智能体一文则介绍了产品数据方面的变化。
仍未确定的问题
其中大部分仍只是提案。TAD 是一个联盟,而不是标准,Cloudflare 表示将在 IETF 举行场外会议,并在之后举办研讨会。运行在用户自己设备上的智能体不在其最初的关注范围之内。隐私问题同样存在:只有当网站只索取所需的最低级别时,身份分级才能真正保护用户。不过,由于一家公司服务着如此大比例的网络,它为客户提供的功能往往会在任何标准完成之前很久就成为实际规则。
总结
Cloudflare 希望 AI 智能体不再表现得像匿名访客,而是说明自己是谁、代表谁行事,并由网站选择索取多少信息。标准仍在制定中,但针对单个智能体的控制功能已经面向 Cloudflare 客户上线。构建智能体的团队现在就应当为已签名请求和页面级规则做好准备。
来源与参考资料
- Cloudflare, Agents aren’t humans (but they kinda are)(2026 年 11 月 5 日):blog.cloudflare.com
- Cloudflare, Forget IPs: using cryptography to verify bot and agent traffic(2025 年 5 月 15 日):blog.cloudflare.com
- Cloudflare, The age of agents: cryptographically recognizing agent traffic(2025 年 8 月 28 日):blog.cloudflare.com
- IETF, RFC 9421, HTTP Message Signatures:rfc-editor.org
- IETF, AI Preferences working group:datatracker.ietf.org