AI 에이전트는 이제 수백만 명을 대신해 예약하고, 구매하고, 조사합니다. 그러나 웹사이트의 입장에서 에이전트는 낯선 존재입니다. 데이터센터에서 접속하고, 한 번에 여러 사람을 대신해 움직일 수 있으며, 지치지도 않습니다. 상위 10,000개 웹사이트의 3분의 1을 서비스하는 Cloudflare는 2026년 11월 5일 이에 대한 답을 내놓았습니다. 에이전트는 자신이 누구인지, 그리고 누구를 대신해 행동하는지 밝혀야 한다는 것입니다. AI 에이전트를 만들거나 어떤 형태로든 자동화를 운영하는 팀에게 이 발표는 접근 규칙이 어느 방향으로 가고 있는지 보여줍니다.
Cloudflare가 발표한 내용
“Agents aren’t humans (but they kinda are)“라는 제목의 이 게시물은 세 가지를 합니다.
- 원칙을 제시합니다. “사용자와 사이트 간의 비즈니스 관계, 그리고 각 참여자의 보안 책임은 중개 여부와 관계없이 지켜져야 합니다.”
- 연합체를 출범시킵니다. Trusted Agent Delegation(TAD)은 “주요 운영자, 신원 확인 업체, 결제 사업자, 판매자, 퍼블리셔, 프록시 제공업체, 클라우드 브라우징 업체”를 모아 문제를 정의하고 이를 IETF에 가져갑니다.
- Cloudflare 고객을 위한 세 가지 기능을 제공합니다. 아래에서 다룹니다.
Cloudflare는 에이전트를 클라우드 브라우저, 프록시와 같은 계열의 중개자로 봅니다. 달라진 점은 규모라고 주장합니다. “에이전트 트래픽은 빠르게 늘고 있으며, 가까운 미래에 인터넷의 전통적인 사람의 브라우징을 능가할 수도 있습니다.” 그렇게 되면 중개자를 단순히 차단하는 방법은 더 이상 선택지가 아닙니다.
문제: 사이트는 사용자가 아니라 에이전트를 본다
Cloudflare는 에이전트가 중간에 끼어 있을 때 더 어려워지는 일을 열두 가지 넘게 나열합니다. 그중 일부는 다음과 같습니다.
| 과제 | 무엇이 잘못되는가 |
|---|---|
| 계정 공유 | 유료 구독 하나를 여러 사용자가 쓰는데, 사이트는 클라이언트 하나만 봅니다 |
| 프렌들리 사기 | 사용자가 에이전트의 구매를 승인한 뒤 이의를 제기하는데, 기기와 IP라는 통상적인 증거가 존재하지 않습니다 |
| 트래픽 혼재 | 한 사용자가 공유 에이전트를 악용하면, 에이전트를 차단했을 때 정당한 사용자 전체가 차단됩니다 |
| 자원 고갈 | 에이전트가 재고와 가격을 하루 종일 조회하고 무료 체험을 모두 소진합니다 |
| 보상 없는 소비 | 에이전트가 기사, 상품 데이터, 리뷰를 읽고 다른 곳에서 답하므로 사이트는 방문, 광고 노출, 판매를 얻지 못합니다 |
| 신원 위장 | 에이전트가 레지덴셜 IP와 실제 브라우저에서 실행되고, 공격자는 알려진 에이전트의 user agent를 복제합니다 |
게시물은 흔한 해결책 두 가지도 일축합니다. 사용자에게 CAPTCHA를 통과하게 하는 것은 그 순간 사람이 있다는 것을 증명할 뿐 “그 이상은 아무것도” 증명하지 못합니다. 권한 범위를 좁히는 방법도 통하지 않는데, 에이전트는 모든 일에 대한 권한을 요청하기 때문입니다.
신원의 네 가지 수준
Cloudflare의 답은 에이전트가 사용자에 대해 얼마나 공개할지를 단계로 나눈 것이며, 사이트가 위험도에 따라 선택합니다.
| 수준 | 사이트가 알게 되는 것 | 사용 예 |
|---|---|---|
| 없음 | 식별자 없음 | 시크릿 브라우징처럼 공개 페이지 읽기 |
| 세션 | 요청들이 하나의 세션에 속한다는 사실 | 방문 중 평판 쌓기 |
| 계정 | 세션이 달라도 같은 사용자임을 알 수 있는 고정 식별자 | 사이트 계정과 에이전트 계정 연결 |
| 고유 | 에이전트와 운영자를 가로지르는, 제3자가 발급한 개인별 식별자 | 고위험 행위 또는 엄격한 규정 준수 |
게시물은 데이터 최소화를 강조합니다. 많은 경우 사이트는 요청을 누가 보냈는지가 아니라 그 요청을 신뢰할지 여부만 알면 됩니다. 이를 위해 Privacy Pass, 그리고 MOLE 같은 프라이버시 보호 도구를 제시합니다. MOLE은 Private Access Tokens의 후속으로 제안된 방식으로, 사용자 식별자 없이 속도 제한을 할 수 있도록 하는 것을 목표로 합니다.
구성 요소
대부분의 요소는 이미 존재하거나 진행 중입니다.
- Web Bot Auth는 에이전트 신원에 대한 Cloudflare의 “선호 방식”입니다. 에이전트가 모든 요청에 HTTP Message Signatures(RFC 9421)로 서명하므로, 사이트는 어떤 에이전트가, 그리고 암묵적으로 어떤 운영자가 요청을 보냈는지 확인할 수 있습니다. Cloudflare는 2025년 5월에 이를 소개했고 2025년 8월에 서명된 에이전트 카테고리를 만들었습니다. 서명이 현재 어떻게 작동하는지는 AI 에이전트와 봇 차단벽 게시물에서 다룹니다.
- 클레임. 일부 행위에는 18세 이상이라거나 카드 소유자라는 것처럼 사람에 관한 사실이 필요하며, 이는 운영자나 제3자가 이미 확인했을 수 있습니다.
- 결제는 웹에서 프라이버시를 보호하는 결제를 가능하게 하는 것을 목표로 하는 x402 같은 프로토콜을 통해 이루어집니다.
- 접근 정책. Cloudflare는 “Robots.txt는 크롤러가 어디까지 갈 수 있는지는 알려주지만, 에이전트가 무엇을 할 수 있는지를 표현하기에는 충분히 적합하지 않습니다”라고 지적합니다. IETF의 AI Preferences 워킹 그룹은 학습과 검색 같은 용도에 대한 선호를 다루지만, 에이전트가 사이트에서 무엇을 할 수 있는지를 다루는 그룹은 아직 없습니다.
Cloudflare 고객이 지금 할 수 있는 일
11월 5일 주간 기준으로 Cloudflare 고객은 다음을 할 수 있습니다.
- 어떤 에이전트가 방문하는지 확인합니다. Security Analytics는 이제 개인 비서를 별도의 트래픽 카테고리로 보여주며, 각 에이전트의 요청, 경로, 오류를 함께 표시합니다.
- 에이전트별로 접근을 설정합니다. 사이트는 에이전트를 모든 곳에서 허용하거나, 광고가 있는 페이지에서만 차단하거나, 전부 차단할 수 있으며, 이는 검색 및 학습 설정과 별개입니다.
- 에이전트가 아니라 사용자를 기준으로 조치합니다. Account Abuse Protection 얼리 액세스에 참여한 사이트에서는 모든 로그인과 가입에 대해 개인 에이전트가 수행했는지, 어떤 에이전트인지가 표시됩니다. 그러면 사이트는 다른 모든 사용자에게 에이전트를 차단하지 않고도 계정 하나에 대해서만 조치할 수 있습니다.
두 번째 항목은 자동화를 운영하는 모든 사람에게 가장 중요합니다. 접근은 단순한 예, 아니오가 아니라 에이전트별, 페이지별 결정이 되어 가고 있습니다.
자동화를 사용하는 팀에게 의미하는 것
- 에이전트와 데이터 수집은 다른 일입니다. Cloudflare의 제안은 사람을 대신해 행동하는 에이전트, 흔히 로그인한 상태에서 물건을 구매하는 에이전트에 관한 것입니다. 가격, 검색 결과, 광고 같은 공개 페이지를 수집하는 일은 규칙이 다른 별개의 작업이지만, 사이트 운영자들은 이 둘을 구분하기 위해 같은 도구를 점점 더 많이 사용할 것입니다.
- 에이전트 제품을 운영한다면 서명을 계획하세요. 검증 가능한 신원은 Cloudflare가 안정적인 접근으로 가는 길로 선호하는 방식이며, 스스로 신원을 밝히지 않는 에이전트는 더 쉽게 묶여 제한될 것입니다.
- 페이지 단위 규칙을 예상하세요. 사이트는 상품 페이지에서는 에이전트를 환영하고 광고가 수익을 내는 곳에서는 차단할 수 있습니다. 거부당했을 때 재시도하지 않고 적절하게 처리하는 에이전트를 만드세요.
- 섞여 드는 것이 바로 해결하려는 문제입니다. Cloudflare는 레지덴셜 IP와 실제 브라우저에서 실행되어 눈에 띄지 않으려 하는 에이전트를 사이트가 통제력을 잃는 이유로 꼽습니다. 레지덴셜 IP는 현지 방문자가 보는 페이지를 그대로 보여주는 수단이지, 다른 사람 행세를 하거나 사이트의 규칙을 우회하는 수단이 아닙니다. 우리가 그 선을 어디에 긋는지는 AI 데이터 수집을 위한 윤리적인 레지덴셜 프록시 가이드에서, 상품 데이터에서 무엇이 달라지는지는 AI 쇼핑 에이전트 게시물에서 다룹니다.
아직 열려 있는 문제
이 내용의 상당 부분은 아직 제안 단계입니다. TAD는 표준이 아니라 연합체이며, Cloudflare는 IETF에서 사이드 미팅을, 이후에 워크숍을 열겠다고 밝혔습니다. 사용자 자신의 기기에서 실행되는 에이전트는 초기 범위에서 제외됩니다. 프라이버시 문제도 남아 있습니다. 신원 단계는 사이트가 필요한 가장 낮은 수준만 요구할 때에만 사용자를 보호합니다. 그럼에도 한 회사가 웹의 이렇게 많은 부분을 서비스하고 있으므로, 그 회사의 고객 기능은 어떤 표준이 완성되기 훨씬 전에 실질적인 규칙이 되는 경향이 있습니다.
결론
Cloudflare는 AI 에이전트가 익명의 방문자처럼 보이는 것을 멈추고, 자신이 누구이고 누구를 대신해 행동하는지 밝히기를 원하며, 얼마나 요구할지는 사이트가 선택합니다. 표준은 아직 작성 중이지만, 에이전트별 제어 기능은 이미 Cloudflare 고객에게 제공되고 있습니다. 에이전트를 만드는 팀은 지금부터 서명된 요청과 페이지 단위 규칙을 계획해야 합니다.
출처 및 참고 자료
- Cloudflare, Agents aren’t humans (but they kinda are) (2026년 11월 5일): blog.cloudflare.com
- Cloudflare, Forget IPs: using cryptography to verify bot and agent traffic (2025년 5월 15일): blog.cloudflare.com
- Cloudflare, The age of agents: cryptographically recognizing agent traffic (2025년 8월 28일): blog.cloudflare.com
- IETF, RFC 9421, HTTP Message Signatures: rfc-editor.org
- IETF, AI Preferences working group: datatracker.ietf.org