웹의 어느 정도가 봇 차단벽 뒤에 있는지 물으면 큰 숫자들을 듣게 될 것이다. 하지만 그 대부분은 다른 질문에 대한 답이다. 웹 데이터를 수집하는 팀에게는 이 차이가 중요한데, 당신을 차단할 수 있는 사이트와 실제로 차단하는 사이트는 같은 문제가 아니기 때문이다.
전수 조사를 한 사람은 아무도 없고, 사실상 불가능하다. 답은 페이지, 클라이언트, 시점에 따라 달라진다. 존재하는 것은 서로 다른 각도에서 측정한 수치들의 모음이다. 이를 종합하면 어떤 단일 헤드라인보다 더 명확한 답을 얻을 수 있다.
세 가지 서로 다른 질문
| 질문 | 측정값 | 모집단 |
|---|---|---|
| 사이트가 당신을 차단할 수 있는가? | 33.1%가 모니터링되는 리버스 프록시 사용, 28.5%가 Cloudflare 사용 | 전체 웹사이트 (W3Techs, 2026년 11월 5일) |
| 71%가 CDN 사용, 35%로 하락 | 상위 1,000개 및 상위 1천만 개 사이트 (Web Almanac 2025) | |
| 봇 보호 기능을 설치했는가? | 모바일에서 31.1%, 데스크톱에서 34% 이상 | HTTP Archive 내 사이트 (Web Almanac 2025) |
| 탐지 가능한 봇 관리 기능을 실행 중인 비율 16.1% | 상위 사이트 홈페이지 653개 (자체 테스트) | |
| 실제로 차단하는가? | 브라우저별로 6.8%에서 15.2% | 상위 10,000개 홈페이지 (2026년 2월 및 3월) |
| 8개 크롤러 전반에 걸쳐 5.3%에서 8.1% | 인기 랜딩 페이지 1,902개 (2026년 11월 프리프린트) | |
| 9.0% 차단, 9.8% 챌린지 | 상위 사이트 홈페이지 653개 (자체 테스트) |
위에서 아래로 읽으면 숫자가 줄어든다. 전체 웹사이트의 약 3분의 1은 봇에게 챌린지를 제시할 수 있지만, 인기 홈페이지 중 특정 자동화 클라이언트를 실제로 거부하는 곳은 약 10곳 중 1곳에 불과하다.
이 모집단들은 서로 다르기 때문에 깔끔한 깔때기 구조를 이루지는 않으며, 상위 사이트 수치는 웹의 롱테일을 대표하지 않는다. 그럼에도 모든 출처에 걸쳐 방향성은 일관되다.
가능성은 시행과 다르다
가장 흔한 오류는 CDN의 시장 점유율을 차단율로 읽는 것이다. 2026년 6월에 발표되어 ARES 2026에서 발표된 상위 10,000개 사이트 연구는 이를 가장 명확히 보여준다. 이 연구는 “가능한 제공업체에서 호스팅한다고 해서 능동적 탐지가 보장되지는 않는다”고 밝히며, 적어도 하나의 테스트 조건에서 Cloudflare 호스팅 사이트의 37%에서 차단을 발견했다. 즉 해당 사이트 대부분은 어떤 브라우저도 차단하지 않았다는 뜻이다.
2026년 10월에 진행한 자체 테스트도 같은 방향을 가리킨다. 동일한 상위 사이트 홈페이지 653개를 대상으로, 벤더 쿠키나 헤더에서 봇 보호 또는 엣지 보안 벤더가 확인된 비율은 36.9%였지만, 능동적인 봇 관리 제품이 확인된 비율은 16.1%였다. HTTP Archive의 봇 보호 수치도 주의가 필요한데, 해당 범주의 약 절반이 reCAPTCHA이며 이는 사이트 전체를 막는 벽이라기보다 폼에 붙은 위젯인 경우가 많기 때문이다.
홈페이지 테스트가 놓치는 것
이러한 차단율은 세 가지 이유로 실제보다 낮게 집계되었을 가능성이 크다.
챌린지가 200으로 돌아올 수 있다. 상위 10,000개 사이트 연구는 403, 429, 503 응답만 차단으로 집계했고, 11월 프리프린트는 403과 429만 집계했다. 200으로 반환되는 챌린지 페이지는 집계되지 않으므로 실제 방해 수준은 더 높다. 우리 테스트는 챌린지도 집계했는데, 챌린지가 차단과 비슷한 만큼을 추가했다.
차단은 홈페이지를 넘어서면서 증가한다. 11월 프리프린트는 크롤러당 최소 6페이지 이상을 가진 사이트들을 대상으로, Chromium의 거부율이 랜딩 페이지에서 0.2%였던 것이 2에서 6번째 페이지에서는 10.4%로 상승했음을 발견했다. 다른 클라이언트들은 덜 상승했고, 일부는 전혀 상승하지 않았다. 홈페이지만 확인하면 행동 기반으로만 반응하는 사이트를 실제보다 우호적으로 평가하게 된다.
클라이언트가 중요하다. 상위 10,000개 사이트 연구는 헤드리스 Chromium에 대해 15%의 차단율을, 다른 구성에 대해서는 약 7%의 차단율을 발견했다. 우리 테스트에서는 Chrome User-Agent에서 라이브러리 기본값으로 바꾸자 차단율이 9.0%에서 15.5%로 상승했다. 정직한 봇 식별과 엉성한 구성 모두 접근성에 비용을 초래한다.
증가하고 있는가?
아마도 그렇겠지만, 단순한 시계열 데이터는 없다. 가장 좋은 장기 신호는 모든 크롤에 대한 가져오기 결과를 발표하는 Common Crawl이다. robots.txt와 403을 모두 포함하는 거부된 가져오기의 비율은 다음과 같다:
| 크롤 | 거부됨 | 성공 |
|---|---|---|
| 2019년 11월 | 3.07% | 76.94% |
| 2022년 12월 | 2.94% | 74.79% |
| 2025년 12월 | 5.80% | 63.90% |
| 2026년 10월 | 4.85% | 62.82% |
Common Crawl은 최근 성공률 감소의 원인을 더 많은 사이트가 크롤링을 금지하거나 403으로 거부하는 것, 그리고 2022년에 도입한 백오프(더 많은 URL을 건너뛰게 함)로 설명한다. 따라서 이 하락이 전부 차단 때문은 아니다. 이 수치들은 웹사이트 비율이 아니라 Common Crawl의 가져오기 비율이며, 스스로를 식별하고 robots.txt를 준수하는 크롤러를 반영한다.
그 배경의 압력은 실재한다. Thales의 2026년 Bad Bot Report는 2025년 전체 트래픽의 53% 이상이 봇이었다고 밝혔고, Cloudflare는 2025년 12월 기준 비 AI 봇이 HTML 요청의 44%를 생성했다고 보고했다. 각각은 해당 벤더 자체 네트워크에서 나온 수치이고 둘 다 봇 방어 솔루션을 판매하지만, 이는 왜 점점 더 많은 사이트 운영자가 이러한 도구를 켜고 있는지를 설명해준다.
프로젝트에 주는 의미
- 헤드라인으로 계획을 세우지 말라. “웹의 3분의 1”도 “10곳 중 1곳”도 당신의 타깃을 설명하지 않는다. 상위 10,000개 사이트 연구에서 차단은 “순위가 아니라 제공업체에 따라 결정”되었으므로, 비슷한 사이트 둘도 전혀 다르게 행동할 수 있다.
- 자신의 목록을 테스트하라. 안티봇 스택 조회는 요청 하나로 사이트에 대해 얼마나 많은 것을 알 수 있는지 보여준다.
- 홈페이지를 넘어서 테스트하라. 실제로 필요한 페이지들을, 실제로 운영할 속도로 돌아보라.
- 상태 코드가 아니라 콘텐츠를 확인하라. 200을 반환하는 조용한 실패는 눈에 보이는 차단보다 더 큰 피해를 준다.
- 다른 무엇보다 먼저 클라이언트를 고쳐라. 자신을 올바르게 식별하고, 합리적인 속도를 유지하며, 세션을 일관되게 유지하라.
사이트가 당신의 IP 자체를 문제로 취급하는 경우, 예를 들어 데이터센터 대역에서 온다는 이유라면, 레지덴셜 프록시를 사용하면 일반 소비자 연결에서 보는 것처럼 공개 페이지를 볼 수 있다. 다만 이것이 사이트의 규칙을 바꾸는 것은 아니며, 자동화된 접근을 거부한다고 밝힌 사이트는 여전히 그 의사를 유지한다.
결론
정직한 답은 세 부분으로 구성된다. 전체 웹사이트의 약 3분의 1은 봇에게 챌린지를 제시할 수 있다. 실제로 그렇게 하는 곳은 훨씬 적어서, 인기 홈페이지 약 10곳 중 1곳 정도가 특정 클라이언트를 거부한다. 그리고 실제 수치는 어떤 발표된 차단율보다 높은데, 챌린지와 더 깊은 페이지들이 과소 집계되기 때문이다. 계획 수립 측면에서 이는, 여전히 대부분의 웹이 제대로 행동하는 클라이언트에게 열려 있고, 어려운 부분은 특정 영역에 집중되어 있으며, 당신의 프로젝트에 정말로 중요한 유일한 숫자는 당신이 직접 자신의 타깃을 대상으로 측정한 숫자라는 뜻이다.
출처 및 참고자료
- W3Techs, Cloudflare 사용 통계 (2026년 11월 5일): w3techs.com
- HTTP Archive, Web Almanac 2025, CDN 챕터: almanac.httparchive.org
- HTTP Archive, Web Almanac 2025, 보안 챕터: almanac.httparchive.org
- Detecting Bot Detection: Prevalence, Techniques, and Implications for Web Measurement Research (2026년 6월): arxiv.org/abs/2606.14525
- Beyond the Landing Page: Website Blocking, Tracker Visibility, and Human Alignment in Automated Web Crawls (프리프린트, 2026년 11월): arxiv.org/abs/2611.06197
- Common Crawl, 크롤러 지표: commoncrawl.github.io
- Thales, 2026 Bad Bot Report: cpl.thalesgroup.com
- Cloudflare Radar 2025 Year in Review: blog.cloudflare.com