데이터센터 프록시는 소비자 인터넷 제공업체가 아니라 호스팅 또는 클라우드 기업이 소유한 IP 주소를 통해 요청을 전달하는 프록시 서버입니다. 웹사이트는 사용자의 주소 대신 데이터센터 주소를 보게 되며, 이 때문에 이러한 프록시는 빠르고 저렴하지만 동시에 서버 트래픽으로 쉽게 식별됩니다.
바로 이 마지막 특성이 언제 이 방식이 작동하는지를 거의 전적으로 좌우합니다. 열려 있는 웹사이트에서는 데이터센터 프록시가 속도와 비용 면에서 뛰어납니다. 트래픽 출처를 확인하는 사이트에서는 일반적으로 ISP 프록시나 레지덴셜 프록시가 더 적합합니다. 이 가이드는 데이터센터 프록시가 어떻게 작동하는지, 어디서 강점을 보이는지, 어디서 실패하는지, 그리고 어떻게 선택해야 하는지를 설명합니다.
데이터센터 프록시 작동 방식
프록시는 애플리케이션과 웹사이트 사이에 위치합니다. 사용자의 스크레이퍼, 브라우저 또는 스크립트가 프록시로 요청을 보내면 프록시는 자신의 IP 주소를 통해 이를 전달하고, 응답은 같은 경로를 통해 사용자에게 돌아옵니다.
데이터센터 프록시의 경우, 이 IP 주소는 서버를 운영하는 기업, 즉 클라우드 플랫폼, 호스팅 제공업체 또는 코로케이션 시설이 소유합니다. 이 주소는 가정에 발급된 적이 없으며 가정용 광대역이나 모바일 네트워크와 아무런 연관이 없습니다. 인터넷 제공업체는 이 경로에 전혀 관여하지 않습니다.
제공업체는 이러한 주소를 대량으로 저렴하게 생성할 수 있으며, 흔히 같은 머신의 같은 서브넷에서 생성됩니다. 바로 여기서 속도와 낮은 가격이 나옵니다. 하지만 동시에 이 지점이 약점이기도 한데, 이러한 대역은 공개 데이터베이스에 호스팅 기업 명의로 등록되어 있기 때문입니다.
데이터센터 프록시의 유형
데이터센터 프록시는 몇 가지 일반적인 형태로 판매됩니다:
- 공유 데이터센터 프록시. 여러 고객이 동시에 같은 IP를 사용합니다. 가장 저렴한 옵션이지만, 해당 주소에서 다른 사용자가 하는 행동이 사용자 본인에게도 영향을 줍니다.
- 전용 데이터센터 프록시. 한 고객이 특정 IP 세트를 독점적으로 사용합니다. 주소의 평판을 직접 관리할 수 있지만, 여전히 데이터센터 IP로 식별 가능합니다.
- 로테이팅 데이터센터 프록시. 게이트웨이에 접속하면 요청마다 또는 설정된 시간마다 풀에서 서로 다른 IP가 할당됩니다.
대부분의 데이터센터 프록시는 HTTP, HTTPS, 그리고 종종 SOCKS5 등 일반적인 프로토콜을 지원하며, 사용자 이름과 비밀번호 또는 IP 허용목록 인증을 사용합니다.
데이터센터 IP에서의 로테이션
로테이팅은 데이터센터 IP에서도 다른 풀과 동일한 방식으로 작동합니다. 요청별 로테이션에서는 매 요청이 새로운 주소에서 나갑니다. 고정 세션에서는 하나의 주소가 설정된 기간 동안 유지되어, 서로 의존 관계에 있는 요청들이 같은 IP를 공유할 수 있습니다. 로테이팅 프록시의 작동 방식에 관한 저희 가이드에서 두 모델 모두를 자세히 다룹니다.
로테이션이 도움이 되는 경우: IP별 요청 제한을 우회하는 데 효과적입니다. 사이트가 주소당 고정된 수의 요청만 허용한다면, 트래픽을 여러 주소에 분산시킴으로써 같은 시간 동안 훨씬 더 많은 데이터를 수집할 수 있습니다. 단순한 요청 카운터를 상대로는 로테이팅 데이터센터 프록시가 가장 저렴한 해결책입니다.
로테이션이 도움이 되지 않는 경우: 분류(classification)에는 전혀 효과가 없습니다. 현대의 봇 차단 시스템은 행동을 살펴보기 전에 먼저 IP 소유자를 확인합니다. 데이터센터 풀의 모든 주소는 동일한 답을 내놓기 때문에, 주소를 바꿔도 시스템이 신경 쓰는 요소는 전혀 바뀌지 않습니다. 로테이션은 요청 수를 세는 사이트에서는 물량을 확보해주지만, 소유권을 확인하는 사이트에서는 아무런 의미가 없습니다.
데이터센터 vs. 레지덴셜 vs. ISP 프록시
세 가지 주요 프록시 유형은 주로 IP를 누가 소유하고 어디서 운영되는지에서 차이가 납니다.
| 데이터센터 프록시 | 레지덴셜 프록시 | ISP 프록시 | |
|---|---|---|---|
| IP 등록 주체 | 호스팅 또는 클라우드 기업 | 소비자 인터넷 제공업체 (실제 가정) | 소비자 인터넷 제공업체 |
| 운영 위치 | 데이터센터 내 서버 | 실제 가정 연결 | 데이터센터 내 서버 |
| 웹사이트가 보는 모습 | 서버 트래픽 | 일반 가정 방문자 | 레지덴셜 트래픽 |
| 속도와 안정성 | 매우 높음 | 연결에 따라 다름 | 높음 |
| 위치 타겟팅 | 대개 국가 또는 데이터센터 도시 | 국가, 지역, 도시, ASN | 선택한 도시 및 ISP |
| 최적 용도 | 열린 사이트, API, 내부 점검 | 보호된 사이트, 여러 위치에 걸친 확장 | 장시간 세션, 로그인, 안정적인 아이덴티티 |
| 주요 약점 | 탐지 및 차단이 쉬움 | 지연 시간 변동이 더 큼 | 레지덴셜보다 작은 풀 |
앞의 두 가지를 더 자세히 비교한 내용은 레지덴셜 vs. 데이터센터 프록시: 장단점을 참고하세요.
데이터센터 프록시가 잘 작동하는 경우
데이터센터 프록시는 빠르고 저렴하며 대량으로 이용 가능합니다. 일부 작업에서는 경제적으로 이보다 나은 선택이 없습니다:
- 봇 차단이 없는 사이트. 공개 웹의 상당 부분은 여전히 IP 소유자를 확인하지 않습니다. 이런 곳에 레지덴셜 트래픽 비용을 더 지불하는 것은 낭비입니다.
- 공개 API 및 구조화된 엔드포인트 중 주소당 요청을 제한하지만 방문자를 지문 식별(fingerprint)하지 않는 경우.
- 내부 및 대량 작업, 예를 들어 가동 시간 모니터링, 링크 점검, 자체 웹사이트 크롤링.
- 대용량 파일 및 자산 다운로드로, 페이로드가 크고 출처가 누가 가져가는지 신경 쓰지 않는 경우.
- 속도에 민감한 테스트로, 트래픽이 어떻게 보이는지보다 낮고 예측 가능한 지연 시간이 더 중요한 경우.
데이터센터 프록시가 부족한 경우
스스로를 방어하는 모든 대상이 해당됩니다. 소매, 여행, 티켓팅, 소셜 플랫폼, 검색 엔진, 그리고 대부분의 대형 마켓플레이스는 데이터센터 대역을 즉시 분류해냅니다. CAPTCHA, 챌린지 페이지, 빈 응답, 또는 조용히 변경된 데이터를 마주하게 되며, 헤더를 바꾸거나 로테이션을 조정해도 근본적인 신호는 고쳐지지 않습니다.
위치 또한 또 다른 한계입니다. 데이터센터 IP는 제공업체가 서버를 둔 곳에 위치하므로, 실제 고객이 사용할 도시나 현지 인터넷 제공업체와 일치하는 경우가 드뭅니다. 필요한 콘텐츠가 도시나 네트워크에 따라 달라지는 경우, 예를 들어 지역별 가격, 검색 결과, 광고라면 데이터센터 주소로는 현지인이 보는 내용을 볼 수 없습니다.
마지막으로, 저렴한 것이 오히려 비싸질 수 있습니다. 대부분의 요청이 실패해서 재시도가 필요하다면, 결국 얻지도 못한 페이지에 대역폭, 연산 자원, 엔지니어링 시간을 지불하는 셈입니다. 진짜 비용은 IP당 비용이 아니라 성공한 결과당 비용입니다.
레지덴셜 또는 ISP 프록시가 더 적합한 경우
Shifter는 데이터센터 프록시를 판매하지 않습니다. 이를 검토 중이라면, 유용한 질문은 그것이 작동하지 않을 때 무엇을 사용할 것인가입니다.
ISP 프록시는 자연스러운 다음 단계입니다. 서버 인프라에서 운영되므로 데이터센터 프록시처럼 빠르고 안정적이지만, IP가 소비자 인터넷 제공업체 명의로 등록되어 있어 웹사이트는 이를 레지덴셜로 취급합니다. Shifter에서는 ISP 프록시가 결제 기간 동안 선택한 도시와 ISP(ASN)에 그대로 유지됩니다. 이는 로그인 세션, 계정 작업, 광고 플랫폼, 그리고 일관된 아이덴티티가 중요한 모든 작업에 강력하게 적합합니다.
레지덴셜 프록시는 여러 주소와 위치에 걸친 확장이 필요한 작업에 적합합니다. Shifter의 레지덴셜 프록시는 195개 이상의 국가에서 2억 500만 개 이상의 IP에 대한 접근을 제공하며, 세 가지 풀을 제공합니다:
- 국가, 지역, 도시, ASN 기준 타겟팅을 위한 Full Geo.
- 국가 수준 타겟팅만을 위한 Country Geo.
- 타겟팅이 없는 Non-Geo로, 세 가지 중 GB당 비용이 가장 낮습니다.
두 제품 모두 하나의 게이트웨이인 p.shifter.io:443을 통해 작동하며, HTTP(S) 또는 SOCKS5를 통한 사용자 이름 및 비밀번호 인증을 사용합니다. 타겟팅은 사용자 이름에 포함됩니다. 요청은 매 호출마다 로테이션되거나, sid-<id>를 사용한 고정 세션으로 IP를 유지하고 ttl-<seconds>로 그 길이를 설정할 수 있습니다. 이 덕분에 데이터센터 설정에서 전환하는 작업은 전면 재작성이 아니라 설정 변경만으로 가능합니다.
선택 방법
다음 세 가지 질문을 순서대로 검토하세요:
- 대상이 IP 소유자를 확인하는가? 그렇지 않다면 데이터센터 프록시를 사용하고 비용을 절약하세요. 확인한다면 어떤 물량에서도 어려움을 겪을 것입니다.
- 안정적인 아이덴티티, 로그인, 또는 고정된 도시 및 제공업체가 필요한가? ISP 프록시를 사용하세요.
- 여러 위치에 걸친 많은 주소가 필요한가? 로테이팅 레지덴셜 프록시를 사용하세요.
많은 팀이 세 가지를 모두 혼합해서 사용합니다: 열린 소스와 내부 점검에는 데이터센터 프록시를, 보호된 대상에는 레지덴셜 프록시를, 계정 기반 작업에는 ISP 프록시를 사용합니다. 혼합된 대상에 걸쳐 수집 작업을 운영한다면, 저희 웹 스크레이핑 페이지에서 레지덴셜 및 ISP 프록시가 스크레이핑 스택에 어떻게 들어맞는지 확인할 수 있습니다.
요약
데이터센터 프록시는 호스팅 기업이 소유한 IP를 요청에 부여합니다. 가장 빠르고 저렴한 프록시 유형이며, 로테이션을 통해 요청 제한에 대응하는 능력을 더욱 확장할 수 있습니다. 하지만 IP 소유권을 확인하거나 위치별로 다른 콘텐츠를 보여주는 사이트에는 전혀 효과가 없습니다. 열려 있고 대량의 작업에는 데이터센터 프록시를 사용하고, 대상이 저항하기 시작하면 ISP 또는 레지덴셜 프록시로 전환하세요.