로테이팅 데이터센터 프록시는 호스팅 제공업체에 등록된 IP 주소 풀에서 요청을 처리하며, 요청마다 또는 일정 시간마다 다른 주소를 배정합니다. 트래픽을 여러 주소에 분산시키는 방법 중 가장 빠르고 저렴하지만, 대상 사이트가 주소 소유자를 확인하기 시작하는 순간부터는 제대로 작동하지 않습니다.
데이터센터 프록시란 정확히 무엇인가
데이터센터 프록시는 호스팅 또는 클라우드 회사에 등록된 IP 주소입니다. 일반 소비자 인터넷 제공업체와는 아무 관련이 없으며, 가정에 발급된 적이 없습니다.
이것이 전부입니다. 이 글에서 이전에 언급했던 두 가지 내용은 틀린 것이며, 동일한 오류가 널리 퍼져 있기 때문에 바로잡을 필요가 있습니다.
- 데이터센터 프록시는 인터넷 서비스 제공업체에 전달되지 않습니다. 해당 주소는 호스팅 회사 소유이며 그대로 유지됩니다. ISP는 이 흐름에 전혀 관여하지 않습니다.
- 고정 레지덴셜 프록시는 데이터센터에서 시작되어 레지덴셜 ISP에 전달되는 것이 아닙니다. 방향은 그 반대입니다. 주소는 일반 소비자 ISP가 할당한 다음 데이터센터 인프라에서 호스팅됩니다. 바로 이 점 때문에 이들이 데이터센터 프록시가 아니라 ISP 프록시가 되는 것입니다.
이 구분은 사소한 트집이 아닙니다. 주소 소유권은 웹사이트가 여러분을 방문자로 취급할지 서버로 취급할지를 결정하는 단일 신호이며, 이 두 제품은 둘 다 데이터센터에 위치함에도 불구하고 이 신호에서 정반대에 놓여 있습니다.
데이터센터 IP에서 로테이션이 작동하는 방식
데이터센터 프록시에서의 로테이션은 다른 곳과 동일한 방식으로 작동합니다. 게이트웨이 엔드포인트에 연결하면 제공업체가 그 뒤에 있는 풀에서 주소를 배정합니다.
- 요청별 로테이션은 모든 요청마다 새로운 주소를 발급합니다. 아무것도 이어받을 필요가 없는 독립적인 페치 작업에 가장 적합합니다.
- **고정 세션(Sticky sessions)**은 일반적으로 1분에서 30분 사이의 설정된 기간 동안 하나의 주소를 유지하며, 요청들이 서로 의존하는 흐름에 사용됩니다.
로테이션이 도움이 되는 경우: IP별 속도 제한(rate limiting)을 무력화합니다. 주소당 시간당 60개 요청을 허용하는 사이트라면, 천 개의 주소로 시간당 60,000개 요청을 처리할 수 있습니다. 차단이 단순한 카운터 방식이라면 로테이션만으로 완전히 해결되며, 다른 어떤 프록시 유형보다 저렴하게 이를 달성합니다.
로테이션이 도움이 되지 않는 경우: 분류(classification)에는 전혀 효과가 없습니다. 최신 봇 방지 시스템은 행동을 살펴보기 전에 주소 소유자를 먼저 조회합니다. 데이터센터 풀의 모든 주소는 동일한 답을 반환하므로, 그 사이를 로테이션해도 시스템이 신경 쓰는 것은 아무것도 바뀌지 않습니다. 만 개의 데이터센터 IP를 순환해도 매번 차단될 수 있습니다.
이것이 실질적인 한계입니다. 로테이션은 요청 수를 세는 사이트를 상대로 물량을 확보해줍니다. 하지만 소유권을 확인하는 사이트를 상대로는 아무 효과가 없습니다.
데이터센터 프록시가 잘 작동하는 경우
빠르고 저렴하며 대량으로 이용 가능하고, 다른 어떤 것도 합리적인 선택이 아닌 작업들이 있습니다.
- 봇 방지가 전혀 없는 사이트. 공개 웹의 상당 부분은 여전히 확인을 하지 않습니다. 이런 곳에 레지덴셜 요금을 지불하는 것은 낭비입니다.
- 주소별로 속도 제한을 걸지만 핑거프린팅은 하지 않는 공개 API와 구조화된 엔드포인트.
- 대량의 내부 작업: 가동 시간 모니터링, 링크 확인, 자사 자산 크롤링.
- 대량 파일 및 자산 수집, 페이로드가 크고 출처가 누가 가져가는지 신경 쓰지 않는 경우.
실패하는 경우
방어가 이루어지는 모든 곳입니다. 소매, 여행, 티켓팅, 소셜 플랫폼, 검색 엔진 그리고 대부분의 대형 마켓플레이스는 데이터센터 대역을 즉시 분류합니다. 챌린지, CAPTCHA, 또는 빈 응답을 바로 보게 되며, 어떤 설정 변경으로도 해결되지 않습니다.
이전에 이 글이 세 번이나 모순되게 서술했다가 정반대 결론을 내렸던 정직한 입장은 다음과 같습니다: 데이터센터 프록시는 빠르고 저렴하지만 강한 방어가 있는 대상에는 적합하지 않습니다. 방어가 없는 대량 작업에는 경제적으로 올바른 선택이며, 반격하는 대상에는 잘못된 선택입니다. 두 가지 모두 동시에 참이며, 올바른 선택은 어떤 대상을 상대하고 있는지 아는 것에 달려 있습니다.
ISP 프록시: 업그레이드 경로
Shifter는 데이터센터 프록시를 판매하지 않으므로, 전용(dedicated) 또는 프라이빗 데이터센터 IP를 찾다가 이 글에 도달했다면 정직한 답은 대신 무엇을 사용해야 하는지입니다.
ISP 프록시가 자연스러운 대안입니다. 동일한 등급의 데이터센터 인프라에서 호스팅되므로 속도가 비슷하게 빠르고 항상 이용 가능하며, IP당 월 단위로 판매되므로 데이터센터 구매자가 이미 익숙한 비용 모델을 따릅니다. 차이점은 주소가 일반 소비자 인터넷 제공업체에 의해 할당된다는 점이며, 이는 웹사이트가 이를 레지덴셜로 분류하고 그에 맞게 신뢰한다는 것을 의미합니다.
실제로는 ISP 프록시가 데이터센터 프록시가 할 수 있는 작업에 더해, 할 수 없는 작업까지 해냅니다. 로그인된 세션, 방어가 있는 소매 사이트, 광고 플랫폼, 계정이 필요한 모든 것입니다. 주소당 비용은 더 높지만, 데이터센터 프록시를 답답하게 만드는 실패 모드를 없애줍니다.
작업이 소수 주소를 지속적으로 사용하는 것이 아니라 여러 주소에 걸친 대량 수집이라면, 요청별 로테이션을 지원하는 레지덴셜 프록시가 더 적합합니다. 두 서비스의 현재 요금은 가격 페이지에서 확인할 수 있습니다.
선택하기
- 대상 사이트가 주소 소유자를 확인합니까? 아니라면 데이터센터 프록시를 사용하고 비용을 절약하세요. 그렇다면 어떤 물량으로도 작동하지 않을 것입니다.
- 안정적인 아이덴티티나 로그인이 필요합니까? ISP 프록시입니다.
- 여러 위치에 걸친 규모가 필요합니까? 로테이팅 레지덴셜입니다.
피해야 할 실수는 가격만 보고 구매한 뒤 나중에야 차단율을 발견하는 것입니다. 대부분의 요청이 실패해서 재시도해야 하는 풀은, 첫 시도에 성공하는 신뢰받는 주소보다 성공한 페이지당 비용이 더 많이 듭니다.
결론
로테이팅 데이터센터 프록시는 정밀한 도구입니다. 스스로를 방어하지 않는 대상을 상대로는 최고 속도와 최소 비용을 제공합니다. 로테이션은 속도 제한에 맞서는 능력을 확장해주지만, 분류에는 아무 효과가 없습니다.
전체 분류 체계는 프록시 유형을 참고하시고, 스크래핑 대상에 따른 선택은 웹 스크래핑 프록시를 참고하세요.