웹의 역사 대부분 동안 크롤러는 대역폭과 컴퓨팅 비용을 지불했고, 콘텐츠 자체는 무료였다. 이 전제가 깨지기 시작했다. 이제 사이트는 AI 크롤러에게 가격으로 응답할 수 있으며, AI 및 머신러닝을 위해 웹 데이터를 수집하는 팀들은 이것이 자신들의 예산에 어떤 영향을 미치는지 파악해야 한다.
이 변화는 실제로 일어나고 있지만 아직 초기 단계다. 이 가이드는 크롤러 통행료가 어떻게 작동하는지, 크롤링 비용에 무엇을 추가하는지, 그리고 일부 페이지는 무료이고 일부는 유료이며 일부는 폐쇄된 웹을 어떻게 계획할지 다룬다. 이는 일반적인 정보이며 법률 자문이 아니다.
크롤러 통행료의 작동 방식
이 아이디어는 오래된 자리표시자를 활용한다. HTTP는 수십 년 동안 402 Payment Required 상태 코드를 가지고 있었으며, RFC 9110은 여전히 이를 “향후 사용을 위해 예약됨”이라고 명시한다. Cloudflare는 2025년 7월 pay per crawl을 통해 이를 실제로 사용하기 시작했으며, 자사 문서에서는 여전히 비공개 베타로 설명하고 있다.
교환 과정은 간단하다:
- 검증된 AI 크롤러가 결제 조건 없이 페이지를 요청하면,
crawler-price헤더와 함께 402 응답을 받는다. - 크롤러는 해당 가격을 수락하는
crawler-exact-price헤더로 재시도하거나, 지불할 금액을 미리 알리는crawler-max-price헤더를 보낸다. - 그러면 200 응답과 함께 페이지를 받고 요금이 청구된다. Cloudflare가 거래 기록 주체(merchant of record) 역할을 한다.
사이트 소유자는 크롤러별로 요금을 부과하거나, 허용하거나, 차단할 수 있다. 가격은 기본적으로 도메인 전체에 적용되며 재정의할 수 있고, 최소 요금은 크롤링당 $0.001이다.
가격보다 중요한 두 가지 세부사항이 있다. 첫째, 크롤러는 자신의 신원을 증명해야 한다. Cloudflare는 Web Bot Auth를 요구하는데, 이는 HTTP Message Signatures (RFC 9421)를 사용해 크롤러 자체의 키로 각 요청에 서명하는 방식이다. IETF 워킹그룹이 이 방법을 표준화하고 있으며, 해당 프로토콜은 아직 초안 단계다. 둘째, 청구 관계가 없는 크롤러에 대해 Cloudflare는 요금 부과를 “네트워크 수준 차단의 기능적 등가물”이라고 설명한다. 실제로 통행료는 가격이 붙은 차단인 셈이다.
통행 징수소는 하나가 아니다
Cloudflare가 가장 눈에 띄는 플레이어이지만, 시장은 더 광범위하며 빠르게 움직이고 있다.
- robots.txt 내 라이선싱 조건. Reddit, Yahoo, People Inc., Ziff Davis, O’Reilly Media, Medium 등을 후원사로 2025년 9월 출시된 RSL 표준은 robots.txt에 기계가 읽을 수 있는 라이선싱 및 로열티 조건을 추가하며, pay-per-crawl과 pay-per-inference를 포함한 모델을 제공한다. 버전 1.0은 2025년 12월에 발표되었다.
- 네트워크 엣지 단에서의 페이월. TollBit의 봇 페이월은 Fastly 및 Akamai와 통합되며, Akamai는 에이전트용 결제 토큰에 대해 Skyfire와도 협력하고 있다.
- 마켓플레이스. Microsoft는 2026년 2월 발행자 콘텐츠 마켓플레이스를 설명하며 “발행자는 제공된 가치에 따라 보상받게 될 것”이라고 밝혔다.
- 사용량 기반 결제. 2026년 7월 Cloudflare는 pay per crawl을 Pay Per Use로 발전시키고 있다고 밝혔는데, 이는 콘텐츠가 가져오기만 될 때가 아니라 가치를 창출할 때 발행자에게 보상하는 방식이다. 요청당 가격 책정이 최종 형태가 아닐 수도 있다.
기본 설정도 변화하고 있다. 2026년 9월부터 Cloudflare는 신규 도메인에 사이트가 광고로 수익을 얻는지 여부에 따라 두 가지 사전 설정 중 하나를 제공한다. 광고 기반 사이트의 경우, 검색은 허용되고 AI 학습은 불허되며 광고가 있는 페이지에서는 에이전트가 차단된다. robots.txt, AI 옵트아웃, 예약 신호에 관한 우리 가이드에서 이러한 신호들이 어떻게 맞물리는지 다루고 있다.
발행자들이 이렇게 하는 이유
그 동기는 크롤링과 트래픽 간의 깨진 교환 관계에 있다. Cloudflare의 2025년 7월 수치에 따르면 Anthropic은 리퍼럴 1건당 약 38,066회 크롤링, OpenAI는 1,091회, Perplexity는 195회로 나타났지만, 이러한 계산이 비율을 과장할 수 있다고 경고한다. TollBit은 2026년 상반기 유럽 사이트에서 사람 리퍼럴 1건당 AI 봇 방문이 179회였다고 보고했으며, 북미에서는 53회였다. 두 회사 모두 이런 통행료를 판매하고 있으므로 수치를 그 점을 염두에 두고 읽어야 하지만, 방향성 자체는 그다지 의심의 여지가 없다.
통행료가 비용에 미치는 영향
통행료가 없다면, 크롤링의 주요 변동 비용은 대역폭과 인프라다. 통행료는 페이지 무게와 상관없이 페이지당 요금을 추가한다. 아래 표는 1 MB 페이지와 레지덴셜 대역폭 GB당 $0.75(당사의 Full Geo 요금)를 가정한다. $0.001은 Cloudflare의 최솟값이며, $0.01은 단지 예시일 뿐인데, 독립적으로 발표된 평균 가격이 아직 없기 때문이다.
| 크롤링 | 대역폭 | $0.001 통행료 | $0.01 통행료 |
|---|---|---|---|
| 1,000 페이지 | $0.75 | $1 | $10 |
| 100만 페이지 | $750 | $1,000 | $10,000 |
| 10,000 페이지, 30일간 매일 | $225 | $300 | $3,000 |
여기서 세 가지 결론이 나온다.
통행료가 다른 모든 비용을 압도할 수 있다. 최솟값에서도 1 MB 페이지의 대역폭보다 크다. $0.01에서는 10배 이상 크며, 대역폭에서 아끼는 비용은 전체 합계를 거의 움직이지 못한다.
재크롤링 비용이 비싸진다. 통행료는 가져오기(fetch)당 부과되므로 최신성에는 직접적인 가격이 붙는다. 변경되지 않은 페이지를 다시 가져오는 모니터링 작업이 가장 취약하다. 사이트맵, 조건부 요청, 변경 감지는 효율성 작업일 뿐 아니라 예산 관리 도구가 된다.
실패한 작업이 더 큰 비용을 초래한다. 페이지 비용을 지불한 후에 파서가 고장 나면, 원본 사본이 있거나 다시 비용을 지불해야 한다. 구매한 것을 저장하라. 클린 레코드당 비용에 관한 글에서 이를 단위 경제성에 어떻게 반영할지 설명하고 있다.
어떻게 계획할 것인가
- 소스를 감사하라. 크롤링 대상 도메인 중 어느 것이 402를 반환하는지, RSL 조건을 담고 있는지, robots.txt를 강화했는지 기록하라. TollBit은 2025년 4분기 AI 봇 스크래핑의 30%가 명시적인 robots.txt 허가를 따르지 않았다고 보고했는데, 이는 이러한 신호들이 얼마나 다투어지고 있는지를 보여주는 수치다. 평균을 그대로 따르기보다 자신만의 정책을 정하라.
- 도메인별 지출 한도를 설정하라. 가격을 크롤링 설정으로 취급하라.
crawler-max-price헤더나 이에 상응하는 예산 설정은 비싼 사이트 하나가 전체 실행 예산을 다 소모하는 것을 막아준다. - 소스를 가치별로 순위를 매기라. 각 도메인이 데이터셋에 무엇을 더하는지 물어보라. 중요한 20개 소스에 비용을 지불하는 것이 2,000개 소스를 얄팍하게 크롤링하는 것보다 대개 낫다.
- 통행료와 라이선스를 비교하라. 물량이 많을 경우, 협상된 계약이 요청당 수수료보다 저렴할 수 있으며 통행료로는 얻을 수 없는 권리를 부여할 수도 있다. 데이터 접근 계약에 관한 우리 가이드에서 무엇을 살펴봐야 하는지 다루고 있다. 결제가 실제로 무엇을 구매하는지 물어보라. 통행료는 접근권을 사는 것이며, 학습 권리에 대해서는 아무것도 말해주지 않을 수 있다.
- 신원 확인을 내장하라. 알려진 크롤러로부터의 서명된 요청이 입장권이 되어가고 있다. 결제를 원하는 크롤러를 운영한다면, 키 관리와 공개된 신원 확인 체계를 계획하라.
프록시가 적합한 곳과 그렇지 않은 곳
통행료는 스스로를 식별하는 크롤러를 대상으로 하며, 결제가 이루어지는 트래픽은 서명되어야 한다. 프록시는 이에 전혀 도움이 되지 않는다. 프록시는 요청이 오는 위치를 바꿀 뿐, 무엇을 할 수 있도록 허용하는지는 바꾸지 않는다. 따라서 사이트가 가격을 설정했거나 콘텐츠를 예약했다면, 다른 IP를 쓴다고 해서 그 조건이 바뀌지는 않는다.
레지덴셜 프록시는 다른 용도로 여전히 유용하다. 바로 가격 모니터링, 광고 검증, QA와 같은 작업을 위해 여러 시장에서 현지 사용자가 보는 것처럼 공개 페이지를 보는 것이다. 이러한 작업은 누군가의 가격을 회피하는 데 의존하지 않으며, 동일한 신호들을 존중해야 한다.
법적 배경도 같은 방향을 가리킨다. 미국 저작권청의 2025년 사전 발행 보고서는 경쟁 콘텐츠를 생성하기 위해 방대한 양의 저작권 보호 저작물을 상업적으로 사용하는 것이 확립된 공정 이용 범위를 넘어선다고 밝혔으며, “특히 이것이 불법적인 접근을 통해 이루어지는 경우에는” 더욱 그렇다고 명시했다. 데이터를 어떻게 얻었는지는 그것으로 무엇을 하는지만큼이나 중요하다.
결론
크롤러 통행료는 아직 초기 단계다. 선도 제품은 비공개 베타 상태이고, 가격은 아직 안정되지 않았으며, 모델은 가져오기당 결제에서 사용량당 결제로 전환될 수도 있다. 하지만 그 방향성은 계획을 세우기에 충분히 명확하다. 어느 소스가 조건을 설정했는지 기록하고, 도메인별로 지출 한도를 정하며, 비용을 지불한 것의 원본 사본을 보관하고, 물량이 많을 때는 통행료와 라이선스를 비교하라. 지금부터 콘텐츠를 비용 항목으로 취급하는 팀은 나중에 그것이 비용 항목이 되었을 때 놀라지 않을 것이다.
출처 및 참고 자료
- Cloudflare, Introducing pay per crawl (1 July 2025): blog.cloudflare.com
- Cloudflare docs, What is Pay Per Crawl: developers.cloudflare.com
- Cloudflare docs, Set a Pay Per Crawl price: developers.cloudflare.com
- Cloudflare, Your Content, Your Rules press release (1 July 2026): cloudflare.com
- Cloudflare, Have it both ways: stay discoverable in search while disallowing AI training (15 September 2026): blog.cloudflare.com
- Cloudflare, The crawl-to-click gap (29 August 2025): blog.cloudflare.com
- RFC 9110, HTTP Semantics: rfc-editor.org
- RFC 9421, HTTP Message Signatures: rfc-editor.org
- IETF Web Bot Auth working group: datatracker.ietf.org
- RSL standard, launch (10 September 2025) and 1.0 (10 December 2025): rslstandard.org, rslstandard.org
- Microsoft Advertising, Building toward a sustainable content economy (3 February 2026): about.ads.microsoft.com
- Fastly on TollBit’s Bot Paywall integration (17 July 2025): fastly.com
- Akamai on monetizing AI bots at the edge (17 September 2025): akamai.com
- TollBit, State of the Bots, Q3-Q4 2025 and H1 2026: tollbit.com, tollbit.com
- US Copyright Office, Copyright and Artificial Intelligence, Part 3, pre-publication version (9 May 2025): copyright.gov