지난 1년 동안 프록시를 구매해본 적이 있다면 어디서나 같은 세 가지 라벨을 봤을 것이다. 레지덴셜, ISP, 데이터센터. 이 라벨들은 익숙해서 대부분의 팀은 카테고리를 하나 고르고 넘어간다. 그 아래의 메커니즘은 덜 알려져 있고, 대부분의 프로덕션 문제는 바로 거기서 시작된다.
이 글은 IP가 실제로 무엇인지, 대상 사이트가 IP로부터 무엇을 읽어내는지, 그리고 “레지덴셜”이 왜 이분법적 분류가 아니라 스펙트럼에 가까운지를 살펴보는 안내서다.
IP 주소가 실제로 나타내는 것
IP 주소는 라우팅 번호다. 공용 인터넷에 연결된 기기의 네트워크 인터페이스를 가리킨다. 그것이 기능적 정의의 전부다.
레지덴셜 대 데이터센터 구분, 지리적 연관성, IP의 “평판” 같은 나머지 모든 것은 외부 당사자들이 그 위에 얹은 메타데이터다. IP 자체는 그중 어느 것도 담고 있지 않다. IP는 “이 IP는 네트워크 X에 속하고, X는 엔터티 Y가 소유하며, 데이터베이스는 이를 유형 Z로 분류했다”라고 말하는 데이터베이스에 대조되어 조회될 뿐이다.
가장 중요한 두 가지 메타데이터는 다음과 같다.
ASN (Autonomous System Number). 인터넷상의 모든 IP 블록은 ASN에 등록되어 있다. ASN은 Comcast(AS7922), Verizon(AS701), Cloudflare(AS13335), Amazon AWS(AS16509) 같은 조직에 속한다. 대상 사이트가 요청을 받으면, 안티봇 레이어가 가장 먼저 하는 일은 소스 IP의 ASN을 조회해서 어떤 종류의 조직이 이를 소유하고 있는지 확인하는 것이다.
Geolocation. 별도의 데이터베이스(MaxMind GeoIP2, IP2Location, 자체 구축한 동등한 시스템)가 IP 블록을 지리적 좌표에 매핑한다. 정확도는 국가 단위(매우 신뢰할 만함)부터 도시 단위(대체로 신뢰할 만함), 거리 단위(대체로 허구에 가까움)까지 다양하다. 사이트는 이를 사용해 방문자가 어디에 있다고 판단할지, 어떤 통화로 가격을 표시할지, 어떤 지역 결과를 노출할지 결정한다.
이 둘 모두 외부 데이터베이스다. IP는 자신이 어느 국가에 있는지 모른다. IP는 누가 자신을 소유하고 있는지 모른다. 모두가 동일한 제공업체 집합에서 데이터를 읽어오며, 그 제공업체들끼리도 가끔 서로 의견이 다르다.
세 가지 IP 카테고리, 메커니즘 측면
이제 라벨 얘기로 넘어가자.
데이터센터 IP. ASN이 호스팅 제공업체(AWS, GCP, Azure, OVH, Digital Ocean, Hetzner)에 속한다. 주요 평판 데이터베이스에서 IP 블록이 “호스팅”으로 등록되어 있다. Geolocation은 코로케이션 시설이 있는 곳으로 매핑된다. 이런 IP는 확보 비용이 저렴하고 레지덴셜 평판이 거의 0에 가까워서, 능동적 방어를 갖춘 대상 사이트는 기본적으로 이를 높은 의심의 대상으로 취급한다.
레지덴셜 IP. ASN이 Comcast, Spectrum, Deutsche Telekom, BT, Free, NTT를 비롯한 수천 개 지역 소비자 ISP에 속한다. 평판 데이터베이스에서 IP 블록이 “레지덴셜” 또는 “소비자용”으로 등록되어 있다. Geolocation은 해당 ISP가 서비스하는 가구 지역으로 매핑된다. 이런 IP는 수년간의 “실제 소비자” 행동 이력(그 가구의 누군가가 Netflix를 스트리밍하고, Twitter를 둘러보고, Steam을 한다)이 결부되어 있어서, 평판 데이터베이스가 이에 대해 긍정적인 사전 확률을 가지고 있다.
ISP IP. ASN은 소비자 ISP에 속하지만, 트래픽이 실제로 나가는 기기는 데이터센터에 있다. ISP가 자신의 주소 공간 일부를 코로케이션 고객에게 할당했고, 그 고객이 트래픽을 그 대역을 통해 라우팅한다. ASN 조회 결과는 “레지덴셜 ISP”라고 나온다. 평판 데이터베이스도 “레지덴셜”이라고 말한다. 하지만 트래픽은 데이터센터 속도로 움직인다. 이것이 “ISP proxy” 카테고리이며, 대상 사이트의 안티봇 판단이 실제 호스팅 실체가 아니라 ASN 조회 결과에 기반해서 내려지기 때문에 정확히 이런 카테고리가 존재하게 된 것이다.
라벨이 거짓말을 하는 것은 아니다. 이 라벨들은 상위 조회 결과가 보여주는 실제 관찰 가능한 차이에 대응된다. 다만 “실제 기기가 물리적으로 어디에 있는지”에는 대응되지 않으며, 대상 사이트는 대부분 그것을 확인하지 않는다.
대상 사이트가 읽어내는 것, 단계별로
방어 체계를 갖춘 사이트에 요청이 도달하면, 안티봇 레이어는 대체로 다음 순서로 작동한다.
1. ASN 조회. 소스 IP가 ASN 데이터베이스에 대조되어 조회된다. 결과: 소유 네트워크의 이름과 그 분류(residential / hosting / business / mobile / unknown).
2. IP 평판 조회. 소스 IP가 웹 전반의 신호를 집계한 평판 데이터베이스와 교차 대조된다. 이 IP가 크리덴셜 스터핑에 관여한 적이 있는가? 댓글 스팸은? 스크래핑은? 평판 점수는 IP별로 매겨지며, 신호를 공유하는 사이트들의 데이터로 채워진다(Cloudflare가 가장 큰 풀을 운영하고, 규모가 작은 업체들은 여기서 소비하거나 전문 업체에 비용을 지불한다).
3. Geolocation 조회. 소스 IP가 국가, 종종 도시 단위로 매핑된다. 사이트는 이를 사용해 응답을 지역화한다(가격, 언어, 규제 관련 고지, 이용 가능한 상품).
4. 핑거프린트 확인. 이는 IP와는 독립적이지만 사이트는 이를 병렬로 수행한다. 요청의 User-Agent, TLS 핸드셰이크 순서(JA3/JA4), 브라우저가 발생시키는 신호(canvas, fonts, WebGL)가 모두 핑거프린팅되어 알려진 봇 핑거프린트와 비교된다.
5. 행동 이력. 세션에 연속성이 있으면(쿠키, 요청 간 핑거프린트 일치) 사이트는 다중 요청 패턴을 살펴본다. 분당 페이지 수는 얼마인가? 클릭 간격이 얼마나 자연스러운가? 방문자가 스크롤을 했는가? 마우스를 올려놓았는가?
깨끗한 레지덴셜 IP는 1, 2, 3단계를 무리없이 통과한다. 사이트는 “Comcast, residential, US-East, neutral reputation”을 보고 실제 페이지를 제공한다. 핑거프린트와 행동 확인은 여전히 진행되지만, 사전 확률이 데이터센터 IP보다 훨씬 관대하다.
데이터센터 IP는 1단계에서 즉시 의심을 유발한다. 사이트는 요청 본문을 읽기도 전에 이미 저하된 버전을 제공하거나, 차단하거나, CAPTCHA를 띄우는 것을 정당화할 수 있다.
ISP IP는 ASN 수준에서 레지덴셜 IP와 동일하게 보이므로 1단계를 똑같이 통과한다. 평판 데이터베이스가 가끔 이를 잡아내기도 하지만(일부 전문 업체는 “이 IP 블록이 매우 비인간적인 타이밍 패턴을 가진 요청을 호스팅한 적이 있다”는 것을 탐지한다) 대부분은 여전히 이를 레지덴셜로 분류한다.
”레지덴셜”만으로는 충분하지 않은 이유
레지덴셜 ASN은 문을 통과하게 해준다. 그 이후에 대해서는 아무것도 보장하지 않는다.
레지덴셜 IP에서도 사이트가 여전히 볼 수 있는 것들:
- IP당 요청 볼륨. 레지덴셜 IP가 사이트의 상품 페이지에 분당 500건의 요청을 보낸다면 “가구 방문자”와 맞지 않는다. ASN이 깨끗해도, 그 속도 자체가 신호가 된다.
- TLS 핑거프린트. 실제 브라우저는 특정한 TLS 암호 순서, 확장 목록, ALPN 값을 만들어낸다. Python의
requests라이브러리를 사용하는 스크래퍼는 이미 오래전부터 목록화되고 인식되어 온 다른 TLS 핑거프린트를 만들어낸다. 레지덴셜 ASN + Python TLS는 명백한 봇이다. - 헤더 이상. 실제 브라우저는 특정 순서와 특정 값으로 수십 개의 헤더를 보낸다. Accept-Language 누락, Sec-Ch-Ua 불일치, Chrome의 실제 발생 순서와 맞지 않는 순서 모두 신호다.
- 행동 시그니처. 실제 방문자는 마우스를 올려놓고, 스크롤하고, 이탈했다가 돌아온다. 봇은 페이지들을 일직선으로 훑고 지나간다. 세션당 페이지 수, 페이지 체류 시간, 마우스 이벤트의 존재 여부가 모두 측정된다.
위의 어떤 것도 다루지 않은 채 레지덴셜 IP에서 실행되는 스크래퍼는 결국 분류당하게 된다. IP는 시간을 벌어줄 뿐이지 은신처가 되어주지는 않는다. 지속적인 데이터 수집에 성공하는 팀들은 나머지 스택에도 투자한다. 현실적인 User-Agent, 견고하게 다듬은 헤드리스 브라우저, 합리적인 요청 간격, 그럴듯한 세션 형태.
네트워크 선택에 있어 의미하는 바
몇 가지 실용적인 함의가 있다.
풀 크기는 하나의 신호일 뿐, 신호 전체가 아니다. 2억 개의 레지덴셜 IP를 가진 풀은 개별 IP가 소진되었을 때 더 많은 대체 옵션을 준다. 하지만 개별 IP 자체를 탐지하기 더 어렵게 만들지는 않는다. 그만큼 중요한 것은 네트워크가 소진된 IP를 걸러내고, 새로운 IP를 표면화하며, 시간이 지나도 ASN/지리적 다양성을 유지하는 능력이다.
소싱 방식은 구매자가 보통 생각하는 것보다 더 중요하다. 사용자의 명확한 동의 하에 투명하게 소싱된 IP는 실제 소비자 트래픽처럼 회선상에서 행동한다(간헐적으로 사용되는 실제 소비자 트래픽이기 때문이다). 덜 투명한 경로로 소싱된 IP는 종종 안티봇 시스템이 특별히 인식하도록 학습한 행동 핑거프린트를 가지고 있다.
한 워크로드에 맞는 네트워크가 다른 워크로드에도 맞는 것은 아니다. 관대한 대상을 상대로 하는 팬아웃 스크래핑 파이프라인은 요청당 로테이션이 가능한 거대한 풀에서 이득을 본다. 장기간 유지되는 계정 관리 워크플로우는 세션 지속성을 갖춘 고정 ISP IP가 필요하다. 다단계 브라우징을 수행하는 AI 에이전트는 실행마다 sticky한 레지덴셜 세션이 필요하다. 단일한 “최고의” 네트워크를 고르려는 접근 자체가 잘못된 프레임이다.
IP는 여러 신호 중 하나일 뿐이다. 완벽한 레지덴셜 IP라도 요청 자체가 로봇처럼 보이면 차단될 수 있다. 반대로, 덜 완벽한 IP라도 주변 요청 형태가 그럴듯하면 성공할 수 있다. IP 레이어는 필요조건이지 충분조건이 아니다.
결론
레지덴셜 프록시 네트워크를 고를 때, 질문은 “이게 레지덴셜인가”가 아니다(신뢰할 만한 모든 네트워크의 IP는 ASN 기준으로 레지덴셜이다). 진짜 질문들은 다음과 같다.
- 네트워크는 IP를 어떻게 소싱하는가?
- 소진된 IP를 얼마나 빠르게 걸러내는가?
- 풀이 지리적으로, ASN 측면에서 얼마나 다양한가?
- 필요할 때 게이트웨이가 세션 상태를 얼마나 잘 보존하는가?
- 게이트웨이를 떠날 때 요청의 형태는 어떤 모습인가?
이것들은 답할 수 있는 질문들이며, 그 답은 헤드라인에 나오는 풀 크기보다 더 중요하다. “레지덴셜” 라벨 아래의 메커니즘이야말로 실제 품질이 존재하는 곳이며, 실제 프로덕션 행동이 결정되는 곳이다.