봇을 막는 팀과 봇을 만드는 팀은 약 15년 동안 완만한 속도의 군비 경쟁을 벌여왔다. 전선은 몇 년마다 이동했고, 각 변화는 데이터 팀에게 저마다 다른 종류의 투자를 강요했다. 대략적인 타임라인을 아는 것은 가치가 있는데, 현재 상황이 외부에서는 명확히 보이지 않는 데다, 인터넷에 떠도는 조언 상당수가 안티봇 기술의 두 세대 전 것이기 때문이다.
1세대: IP 차단 목록과 속도 제한
초기 방어는 절차적이었다. 요청이 들어오면 서버는 IP를 기록했고, 그 IP가 분당 요청 수가 지나치게 많다거나, 패턴이 지나치게 예측 가능하다거나, User-Agent가 지나치게 부실하다거나 하는 등 명백히 기계적인 행동을 보이면 속도 제한을 걸거나 아예 차단했다. 알려진 데이터센터 IP 대역 목록이 떠돌아다녔다. AWS나 DigitalOcean에서 나온 것이면 무엇이든 의심의 대상이 되었다.
이는 “X를 어떻게 스크래핑하나요”라는 질문에 대한 답이 거의 항상 “프록시를 쓰세요”였던 시대였다. 구체적으로는 데이터센터 프록시였다. /24를 사서 그 안에서 로테이션하면 문제가 해결되었다.
이 방식이 통했던 이유는 방어 측에 다른 수단이 별로 없었기 때문이다.
2세대: CAPTCHA와 사용자 마찰 비용
IP 수준의 방어가 무너지기 시작하자, 방어 측은 마찰을 사용자에게 떠넘겼다. CAPTCHA가 보편화되었고, 처음에는 이미지 매칭 방식이었다가 reCAPTCHA, 그다음 invisible reCAPTCHA, 그다음 hCaptcha와 Turnstile, Arkose로 이어졌다.
CAPTCHA는 순진한 스크래퍼를 무력화한다는 의미에서는 효과가 있다. 또한 실제 사용자를 상당히 짜증나게 만들어 전환율을 눈에 띄게 떨어뜨린다는 의미에서도 효과가 있다. 2017년에서 2020년 사이 공격적인 CAPTCHA 계층을 사용했던 대부분의 사이트는 이후 이를 완화했는데, 마찰 비용이 봇 차단 이득을 넘어섰기 때문이다.
스크래퍼 측에서는 CAPTCHA가 사람이 개입하는 해결 서비스 산업 전체를 만들어냈다. 건당 몇 센트를 지불하고, 저비용 지역의 작업자 풀에 CAPTCHA를 대기열로 넘기고, 토큰을 돌려받아 스크래핑을 계속하는 방식이다. 우아하지는 않지만 통했다.
3세대: 브라우저 및 행동 핑거프린팅
3세대는 스택을 한 단계 더 올라갔다. 사이트는 IP뿐 아니라 클라이언트 자체, 즉 브라우저를 핑거프린팅하기 시작했다. Canvas 핑거프린팅, WebGL 시그니처, 폰트 목록, 오디오 컨텍스트, 시간대, 언어 설정, 화면 크기, 사용 가능한 플러그인, 핸드셰이크에서 TLS 암호가 제안되는 순서(JA3 / JA4 핑거프린트), 마우스 움직임의 타이밍, 키 입력의 리듬까지 포함되었다.
특별한 강화 조치가 없는 헤드리스 Chromium은 이런 신호 수십 가지를 그대로 노출한다. 방어 측은 이런 표면 전반에 걸쳐 요청에 점수를 매기고, 지나치게 깔끔하거나 지나치게 기계적이거나 실제 사용자의 브라우저와 지나치게 다른 것을 거부하는 라이브러리(Fingerprint.js와 다양한 상용 대체 서비스)를 구축했다.
스크래핑이 어려워진 것이 이 시점부터다. 레지덴셜 IP만으로는 더 이상 충분하지 않았다. 실제 브라우저를 구동하거나, 핑거프린트를 패치한 충분히 좋은 헤드리스 브라우저를 구동해야 했고, 그 행동을 자연스럽게 보이도록 만들어야 했다. 프록시는 여전히 필수였지만, 이제는 전체 해답이 아니라 스택을 구성하는 하나의 요소가 되었다.
4세대: 네트워크 수준 평판
현재의 전선은 모두에게 가장 비용이 많이 드는 단계다. 방어 측은 이제 Cloudflare, Akamai를 비롯해 십여 개의 소규모 전문 업체 같은 네트워크 제공사로부터 평판 데이터를 구매한다. 모든 IP는 수백만 개 사이트에서 나온 신호를 취합한 평판 점수를 부여받는다. 이 IP가 은행 계좌에 로그인하거나, 결제 흐름을 거치거나, 일반적인 Gmail을 여는 모습이 관측되었는가? 아니면 크리덴셜 스터핑을 시사하는 패턴으로 로그인 엔드포인트를 두드리거나, 기계적인 리듬으로 댓글을 게시하거나, 화요일 새벽 3시에 경쟁사 가격 페이지를 스크래핑하는 모습이 관측되었는가?
데이터센터 IP는 거의 정의상 네트워크 이력이 빈약하거나 부정적이다. 정상적인 인간의 행동을 한 적이 없다는 뜻이다. 반면 레지덴셜 IP는 뒤에 수년간의 평범한 트래픽을 갖고 있는데, 그 IP를 사용하는 가정에서 Netflix, Steam, Zoom, 일반적인 웹 서핑에 써왔기 때문이다. 오늘날 스크래퍼를 지켜주는 것이 바로 이 평판이다.
ISP 프록시는 흥미로운 중간 지점에 위치한다. 실제 레지덴셜 ISP가 발급하기 때문에(그래서 상위 제공사가 가정용 IP 대역과 일치한다) 데이터센터에 할당되어 고정적으로 유지된다. 순수한 데이터센터 IP보다는 탐지하기 어렵지만 로테이팅 레지덴셜보다는 쉽게 탐지되며, 가격도 그에 맞게 책정된다.
2026년 데이터 팀에게 의미하는 것
네 세대를 거치는 동안 계속 사실로 남아 있었고, 앞으로도 계속 사실일 몇 가지가 있다.
적절한 프록시는 필요조건이지 충분조건이 아니다. 진짜 레지덴셜 IP는 네트워크 수준의 관문을 통과시켜준다. 그다음부터는 클라이언트, 헤더, TLS 핑거프린트, 행동 패턴이 여전히 그럴듯해야 한다.
차단율만이 중요한 지표다. 풀 크기도, 국가 수도, 광고된 기능도 중요하지 않다. 스크래핑이 적정 비용으로 깨끗한 HTML을 반환한다면 인프라는 제대로 작동하고 있는 것이다. 그렇지 않다면 아무리 많은 마케팅 주장도 도움이 되지 않는다.
적절한 프록시는 워크플로에 따라 달라진다. 대규모 레지덴셜 풀 전체에 걸친 요청 단위 로테이션은 팬아웃 방식의 가격 모니터링 작업에 적합하다. 단일 레지덴셜 IP를 10분간 유지하는 스티키 세션은 다중 페이지 흐름에 적합하다. 고정된 ISP IP는 계정 관리와, 몇 주에서 몇 달에 걸쳐 동일한 신원이 필요한 모든 워크플로에 적합하다. 모든 작업에 하나의 도구를 고르지 말라.
안티봇 기술은 계속 스택을 타고 올라갈 것이다. 다음 계층은 아마도 엣지 단에서 이루어지는 더 공격적인 행동 분석, 단일 요청의 특징이 아니라 몇 분에 걸친 세션 형태를 살펴보는 머신러닝 기반 분류기일 것이다. 이는 이미 가장 큰 사이트들에서 실제로 운영되고 있다. 방어 측의 군비 경쟁은 누적되며, 그 경쟁에 계속 머무르는 데 드는 비용도 함께 늘어난다.
솔직한 결론은 이렇다. 스크래핑이 “해결되었다”고 말하는 사람은 누구든 틀렸다. 이것은 운영의 문제이며, 대가를 지불하는 대상은 바로 그 운영이다. 레지덴셜 프록시는 여전히 기반으로 남아 있는데, 상위 IP가 올바른 종류의 이력을 지니는 유일한 지점이 여전히 그곳이기 때문이다. 다른 모든 것은 그 위에 놓인다.