프록시 시장은 보통 두 가지 제품으로 구분된다. 순수한 속도와 저비용을 위한 데이터센터 프록시. 차단 회피와 실제 사용자 신뢰성을 위한 레지덴셜 프록시. 워크로드에 따라 둘 중 하나를 고르라는 식이다.
이런 구분에는 세 번째 카테고리가 빠져 있는데, 약 천 건의 배포 작업에서 고객들과 함께 일한 경험상 이 세 번째 카테고리가 나머지 둘보다 더 자주 정답인 경우가 많다. ISP 프록시는 데이터센터 프록시와 로테이팅 레지덴셜 프록시 사이에 위치하며, 둘 다 잘 해결하지 못하는 문제군을 해결한다.
이 글은 ISP 프록시를 더 많이 사용해야 한다는 주장이면서, 동시에 사람들이 종종 시도하는 것보다 더 적은 곳에서 사용해야 한다는 주장이기도 하다.
ISP 프록시란 실제로 무엇인가
기계적인 정의는 이렇다. ISP 프록시는 실제 레지덴셜 ISP(Comcast, AT&T, BT, Deutsche Telekom 등)가 발급한 IP 주소이지만, 데이터센터에 호스팅되어 프록시 운영사가 고정적으로 보유하는 IP다. 상위 IP 블록은 가정용 ISP 소유지만, 실제로 트래픽이 나가는 머신은 어딘가의 랙에 있다.
이상한 조합처럼 들리는데, 실제로 그렇다. 이런 방식이 존재하는 이유는 대상 사이트의 안티봇 방어 시스템이 상위 ASN, 즉 해당 IP 블록이 할당된 네트워크를 기준으로 판단을 내리기 때문이다. Comcast에 할당된 IP 블록은 사이트의 지리 위치 및 평판 제공업체 입장에서 “가정”으로 보인다. 호스팅 업체에 할당된 IP 블록은 “데이터센터, 의심스러움”으로 보인다.
호스팅의 실제 상태는 조회 결과에 드러나지 않는다. ASN만 드러난다.
그것이 구체적으로 주는 이점
순수 데이터센터 프록시가 주지 못하는 세 가지 속성이 있다.
네트워크 평판. IP가 레지덴셜 대역에 속해 있으므로 평판 데이터베이스는 이를 중립적으로 평가한다. 엣지에서 “데이터센터니까 제한하라”는 자동 반응을 유발하지 않는다.
지리적 정확성. ISP 할당은 실제 지역과 연결되어 있다. Comcast Cleveland 블록의 IP는 Cleveland로 지오로케이션된다. 순수 데이터센터 프록시가 종종 틀리는 도시 단위 정확도를 얻을 수 있다(대부분의 데이터센터 IP는 고객이 원하는 위치가 아니라 코로케이션 시설이 있는 위치로 지오로케이션된다).
안정성. 로테이팅 레지덴셜 프록시와 달리 IP는 플랜 기간 동안 계속 당신 소유다. 사이트는 매번 같은 IP를 본다. 쿠키가 유지된다. 세션 바인딩이 작동한다.
로테이팅 레지덴셜 프록시 대비 포기하는 것은 상위 IP의 다양성이다. 2억 개의 IP 풀 깊이가 아니라, 수십 개에서 수백 개 정도다. 대상 사이트가 해당 IP를 소진시키면 자동으로 새 IP를 받을 수 없다.
ISP 프록시가 정답인 경우
ISP 프록시가 두 대안보다 확실히 우수한 세 가지 워크로드 형태가 있다.
대규모 계정 관리. 하나의 플랫폼에서 수십에서 수백 개의 계정을 운영하는 경우다(예: 클라이언트 브랜드용 소셜 미디어 관리, 여러 벤더에 걸친 이커머스 판매자 계정, 여러 네트워크에 걸친 광고 계정). 각 계정은 로그인 시마다 일관된 IP가 필요하다. 로테이팅 레지덴셜 프록시는 계정-IP 바인딩을 깨뜨려 재인증을 유발한다. 순수 데이터센터 프록시는 안티봇을 유발한다. 고정된 ISP IP가 정확히 맞는 형태다.
장기 실행 세션 작업. 세션을 몇 시간 동안 열어두는 모든 작업, 경쟁 경매 모니터링, 레지덴셜 아이덴티티를 사용한 스트리밍, 장문의 리서치 크롤링 등은 세션 중간에 만료되지 않는 IP가 필요하다. 로테이팅 레지덴셜 세션은 TTL에 의해 제한되지만, 고정된 ISP IP는 그렇지 않다.
관용적인 사이트를 대상으로 한 처리량 민감 워크로드. 공격적으로 차단하지는 않지만 대역폭 사용량이 많은 사이트(예: 벤더의 공개 카탈로그 API를 지속적으로 모니터링하는 경우)를 대상으로 할 때는, 실제 네트워크 평판을 가진 데이터센터 수준의 지연 시간이 처리량과 차단 회피를 동시에 제공한다. 로테이팅 레지덴셜 프록시는 관용적인 대상에게는 실제로 필요하지 않은 라우팅 오버헤드로 요청당 50~200ms를 추가한다.
세 번째 경우가 고객들이 가장 자주 ISP 프록시를 고려하지 않는 지점이다. “실제처럼 보여야 한다”는 이유로 기본값으로 레지덴셜 프록시를 선택하고, 애초에 대상 사이트가 데이터센터 트래픽을 차단할 생각조차 없었음에도 지연 시간이라는 비용을 지불한다.
ISP 프록시가 오답인 경우
ISP 프록시가 실망스러운 결과를 낳는 두 가지 워크로드 형태가 있다.
고볼륨 팬아웃 스크래핑. 하루에 50개 벤더에 걸쳐 10만 개의 상품 페이지를 가져오는 경우다. 각 요청은 서로 다른 방문자처럼 보여야 한다. ISP 프록시는 풀이 작아서, 같은 대상에 대해 수천 개의 요청에 걸쳐 같은 IP를 재사용하게 되는데, 이는 대부분의 안티봇 시스템이 정확히 주시하는 패턴이다. 여기서는 로테이팅 레지덴셜 프록시가 맞는 도구다.
적극적인 방어를 하는 어려운 대상. 실시간 행동을 기반으로 IP를 적극적으로 소진시키는 사이트들, Cloudflare의 가장 공격적인 설정, 특정 금융 사이트, 적대적인 안티봇을 갖춘 특정 여행 애그리게이터는 ISP 풀을 빠르게 소진시킬 것이다. 로테이팅 레지덴셜 프록시는 사실상 무한한 대체 IP를 제공하지만, ISP 프록시는 며칠 안에 할당량을 다 써버리게 된다.
잘못된 도구를 쓰고 있다는 신호는 보통 명확하다. 특정 대상에 대한 성공률이 며칠에 걸쳐 하락하는 추세를 보이는 것이다. 로테이팅 레지덴셜 프록시에서는 풀이 지속적으로 갱신되므로 성공률이 안정적으로 유지된다. ISP 프록시에서는 대상에 의해 소진되는 IP가 늘어날수록 성공률이 떨어진다.
가격 책정의 논리
두 제품 모두 각자가 어떤 용도로 만들어졌는지 드러내는 합리적인 가격 모델을 갖고 있다.
로테이팅 레지덴셜 프록시는 GB당 대역폭 기준으로 가격이 책정되는데, 비용 요인이 레지덴셜 SDK 파트너와의 상위 계약이기 때문이다. 이동시키는 GB마다 SDK가 전달해야 하는 GB이기 때문이다. 동시 접속은 무료이고, IP 개수는 사실상 무제한이며, 데이터 흐름에 대해 비용을 지불한다.
ISP 프록시는 IP당 가격이 책정되는데, 비용 요인이 고정 할당이기 때문이다. 고정된 각 IP는 사용 여부와 관계없이 당신을 위해 예약되어 있다. 대역폭은 무제한인데, GB당 상위 비용이 없기 때문이다. 일단 IP를 확보하면 추가 요청은 무료다.
이는 비용 계산이 완전히 다르다는 것을 의미한다. 로테이팅 레지덴셜 프록시의 경우, 월간 대역폭 예산을 GB당 요금으로 나누면 그것이 플랜이다. ISP 프록시의 경우, 필요한 동시 계정/세션/아이덴티티 개수를 세어 IP당 비용을 곱하면 된다.
실무에서는 이렇다. 10개의 장기 실행 세션을 운영한다면, ISP 프록시는 그 세션들이 레지덴셜 프록시에서 소비할 대역폭보다 훨씬 저렴하다. 1만 개의 단기 팬아웃 스크래핑을 운영한다면, 레지덴셜 프록시는 1만 개의 ISP IP를 고정하는 IP당 비용보다 훨씬 저렴하다.
혼합 배포 패턴
가장 정교한 고객들은 하나만 선택하지 않는다. 그들은 종종 동일한 코드베이스 내에서 워크플로우 형태에 따라 트래픽을 알맞은 제품으로 라우팅한다. 흔한 프로덕션 아키텍처는 다음과 같다.
- 로테이팅 레지덴셜 프록시: 대량 스크래핑 계층, 가격 정보 수집, SERP 모니터링, 콘텐츠 집계용. 고볼륨, 일시적, 지리적으로 다양함.
- ISP 프록시: 계정 계층용, 판매자 계정 관리, 경쟁사 광고 계정 모니터링, 장기 인증 세션.
- 데이터센터 프록시: 내부 API 계층용, 자체 API 호출, CDN 캐시 콘텐츠 접근, 대상이 굳이 방어하지 않는 모든 것.
세 가지 서로 다른 프록시 유형이 하나의 인프라 추상화 뒤에서, 직감이 아니라 워크플로우 형태에 따라 선택된다.
팀들이 ISP 프록시를 과소 사용하는 이유
솔직한 답은 이렇다. 대부분의 팀은 프록시를 처음 접했을 때 하나의 제품을 선택하고 다시는 재검토하지 않는다. 모든 “모범 사례” 게시물이 추천하기 때문에 로테이팅 레지덴셜 프록시로 시작했고, 이를 코드베이스에 그대로 박아 넣었으며, 수학적으로 잘못된 도구인 워크로드를 다시 조사하지 않는다.
만약 레지덴셜 프록시만 사용하는 배포를 3년째 운영 중이고 계정 관리나 세션 중심 워크로드를 ISP 프록시와 비교 벤치마킹한 적이 한 번도 없다면, 그런 워크플로우에서 실제로 필요하지 않은 레지덴셜 프록시의 지연 시간과 대역폭에 대해 과도하게 지불하고 있을 가능성이 상당히 크다.
이를 확인하는 방법은 지루하지만 확실하다. 특정 워크플로우 하나의 10%를 2주간 ISP 플랜으로 라우팅하고, 성공률을 측정하고, 비용을 측정하고, 비교하는 것이다. 명확한 우위가 나타나서 그 워크플로우를 이전하거나, 그렇지 않아서 기존 방식을 유지하거나 둘 중 하나다. 어느 쪽이든 유용한 결과다.
중간 지대는 양극단만큼 매력적으로 보이지 않으며, 그것이 이 시장에서 덜 주목받는 이유이기도 하다. 하지만 특정하고 의미 있는 워크로드군에 대해서는 이것이 맞는 도구이며, 어떤 도구를 사용하는지가 단위 경제성을 결정하는 대부분의 요인이다.