프록시를 처음 구매하는 대부분의 사람들은 이를 단일한 질문, 즉 어떤 요금제를 선택할지로 접근하며, 결국 가격만으로 선택하게 됩니다. 이는 보통 두 가지 결과 중 하나로 이어집니다. 작업에 비해 너무 작은 요금제를 선택해 한 달 중간에 이를 발견하거나, 결코 사용되지 않을 용량을 위해 요금제를 구매하는 경우입니다. 둘 다 사실 가격 책정의 실수는 아닙니다. 이는 가격을 살펴보기 전에 먼저 이루어져야 할 두 가지 결정을 건너뛰었기 때문에 발생합니다.
올바른 선택은 순서대로 세 가지 결정으로 이루어집니다. 프로젝트에 어떤 종류의 프록시가 필요한지, 그 프로젝트가 실제로 소비할 대역폭이 얼마나 되는지, 그리고 단순히 나열된 것이 아니라 진정으로 필요한 기능이 무엇인지입니다. 이 세 가지를 제대로 파악하면 요금제는 저절로 정해집니다.
결정 1: 프로젝트에 필요한 제품
제품 유형은 동일한 것의 등급이 아닙니다. 각각 다르게 동작하며, 잘못된 유형을 선택하면 더 많이 구매한다고 해서 해결되지 않습니다.
로테이팅 레지덴셜은 데이터 수집의 기본 선택지입니다. 실제 가정용 주소로 이루어진 대규모 풀에서 가져오며, 기본적으로 각 요청은 서로 다른 주소를 통해 나가므로 특정 주소 하나가 주목받지 않도록 물량을 분산시킵니다. 작업이 스크래핑, 가격 또는 재고 모니터링, SERP 및 순위 수집, 광고 검증이거나, 여러 대상 또는 시장에 걸쳐 많은 요청을 보내는 형태의 작업이라면 이를 선택하십시오.
고정 레지덴셜, 즉 ISP 프록시는 소비자 인터넷 제공업체에 등록된 호스팅 주소로, 레지덴셜 수준의 신뢰도를 가지면서도 시간이 지나도 동일하게 유지됩니다. 물량보다 지속성이 요구 사항일 때, 즉 항상 동일한 주소에서 접속하는 것으로 보여야 하는 계정 관리, 장기간 유지되는 세션, 또는 주소가 바뀌는 것이 해결책이 아니라 문제가 되는 모든 경우에 이를 선택하십시오. 이 트레이드오프는 ISP와 레지덴셜 비교 및 고정 레지덴셜 프록시란 무엇인가에서 다룹니다.
데이터센터는 가장 저렴하고 빠르며, 대상이 신경 쓰지 않는 경우 올바른 답입니다. 공개 API, 자체 인프라, 또는 의미 있는 방어 수단이 없는 사이트에 접근하는 경우라면 레지덴셜 가격을 지불하는 것은 낭비입니다. 솔직한 비교는 레지덴셜과 데이터센터 비교에서 확인할 수 있습니다.
실용적인 규칙은 실제 대상을 안정적으로 통과시킬 수 있는 가장 저렴한 유형을 사용하는 것이며, 이를 추측이 아니라 테스트를 통해 확인하는 것입니다. 많은 프로젝트가 결국 혼합 형태로 운영됩니다. 쉬운 소스에는 데이터센터를, 방어가 있는 소스에는 레지덴셜을 사용합니다.
결정 2: 얼마나 많은 대역폭이 필요한가
레지덴셜 프록시는 접근하는 주소의 수가 아니라 전송된 데이터양을 기준으로 요금이 청구되므로, 요금제를 결정하는 숫자는 대역폭입니다. 이 방식의 근거는 포트당 과금 시대가 끝난 이유에서 다루며, 산정 방법은 간단합니다.
대상으로부터 오는 응답의 평균 크기를 추정하고, 한 달 동안 예상되는 요청 수를 곱한 다음, 재시도와 실패에 대한 여유분을 더하십시오. 일반 HTML 페이지나 JSON API 응답은 보통 수십 킬로바이트이지만, 이미지, 폰트, 스크립트를 포함해 브라우저에서 렌더링된 전체 페이지는 몇 메가바이트에 달할 수 있으며, 이는 전체 계산에서 가장 큰 변수입니다. 하루에 만 건의 JSON 호출은 하루에 만 건의 완전히 렌더링된 페이지와는 전혀 다른 요금제가 필요하며, 그 차이는 대략 두 자릿수 규모입니다. 구체적인 계산 방법은 월간 대역폭 산정하기에서 확인할 수 있습니다.
구매하기 전에 이 수치를 줄일 수 있는 두 가지 방법이 있습니다. 전체 페이지를 렌더링하는 대신 기본 데이터 엔드포인트를 가져오는 것이 가장 큰 지렛대이며, 정말로 렌더링이 필요한 경우 이미지, 미디어, 폰트를 차단하는 것이 두 번째 방법으로, 둘 다 프록시 대역폭 비용 절감하기에서 다룹니다. 이러한 최적화는 요금제 등급을 낮출 수 있으므로 요금제를 산정하기 전에 해두는 것이 좋습니다.
이 목록에 없는 것에 주목하십시오. 바로 몇 개의 IP를 받는가입니다. 풀링된 네트워크에서는 그것이 구매하는 수량이 아니며, 그 근거는 실제로 필요한 프록시 IP 수에서 다룹니다. 유일한 예외는 동시 스티키 세션으로, 작업에 유지되는 아이덴티티가 필요하다면 명시해야 할 실제 요구 사항입니다.
결정 3: 실제로 필요한 기능은 무엇인가
기능 목록은 요금제가 복잡해 보이기 시작하는 지점입니다. 대부분은 다섯 가지 질문으로 정리됩니다.
지리적 세분화. 국가 단위 타겟팅은 대부분의 프로젝트를 충족합니다. 작업이 지역 결과, 지역 가격, 또는 매장 단위 데이터에 의존한다면 도시 단위 타겟팅이 필요하며, 통신사별 동작을 다루는 경우라면 ASN 타겟팅이 필요합니다. 전 세계적으로 큰 숫자가 광고되고 있는지가 아니라, 관심 있는 국가가 잘 커버되는지를 확인하십시오.
세션 제어. 요청마다 로테이션할 수 있는지, 그리고 다단계 흐름이 필요할 때 스티키 세션을 유지할 수 있는지 모두 확인하십시오. 실제 대부분의 프로젝트는 서로 다른 시점에 두 가지 모두를 필요로 합니다.
동시 연결 수. 동시 연결에 어떤 제한이 적용되는지 확인하십시오. 동시성을 별도로 계량하는 요금제는 대역폭 전용 요금제라면 무리 없이 처리할 작업을 제한할 수 있기 때문입니다. 무제한 동시 연결 참조.
프로토콜과 통합. HTTP와 SOCKS5로 거의 모든 것이 처리됩니다. 더 중요한 것은 타겟팅이 요청마다 스택에서 제어할 수 있는 방식으로 표현되는지 여부이며, 게이트웨이에서는 이는 대시보드 토글이 아니라 사용자 이름에 자격 증명을 포함하는 방식을 의미합니다.
그 외의 모든 것은 대규모로 운영하기 전까지는 보통 부차적이며, 대규모 운영 시점이 되면 어떤 기능 체크박스보다 지원 응답성과 청구 유연성이 더 중요해지기 시작합니다.
일반적인 프로젝트 형태와 요금제 매칭
몇 가지 패턴이 대부분의 첫 구매를 아우릅니다.
매일 수백 개의 페이지를 추적하는 소규모 리서치 또는 모니터링 프로젝트는 국가 타겟팅을 적용한 로테이팅 레지덴셜에서 보통 한 달에 몇 기가바이트 수준입니다. 나중에 상위 등급으로 이동하는 것은 쉽지만, 아직 검증하지 않은 프로젝트를 위해 큰 등급을 구매하는 것은 그렇지 않으므로, 여유분을 두고 추정치를 충족하는 가장 작은 등급부터 시작하십시오.
여러 대상을 다루는 프로덕션 스크래핑 파이프라인은 대역폭 산정이 제 역할을 하는 곳이며, 최적화 작업이 직접적으로 비용을 상쇄하는 곳이기도 합니다. 추측이 아니라 트라이얼에서 측정한 사용량을 기준으로 산정하고, 실제 수치가 추정치와 양방향으로 다를 것을 예상하십시오.
계정 또는 세션 기반 작업은 대규모 로테이팅 풀보다는 고정 ISP 주소와 명시된 수의 동시 세션을 필요로 합니다.
혼합 워크로드는 흔하며 문제없습니다. 방어가 없는 소스에는 데이터센터를, 나머지에는 레지덴셜을 사용하십시오. 각각을 따로 산정하는 것이 모든 것을 비싼 경로로 처리하는 것보다 저렴합니다.
결정을 확정하기 전에 검증하기
어떤 결론에 도달하든, 이를 가설로 취급하고 확장하기 전에 트라이얼이나 소규모 첫 구매에서 테스트하십시오. 일반적인 테스트 URL이 아니라 실제 대상을 대상으로 실행하고, 상태 코드만이 아니라 응답 검증을 통해 성공률을 측정하십시오. 그렇지 않으면 200으로 반환된 챌린지 페이지가 성공처럼 보일 수 있습니다. 비용을 지불한 지역이 실제로 얻는 지역과 일치하는지 확인하십시오. 요청당 실제 바이트 수를 측정하여 대역폭 추정치를 실측치로 만드십시오. 방법은 속도, 성공률, 위치 정확도 테스트하기에서 다루며, 제공업체 수준의 기준은 프록시 네트워크 선택 방법에서 다룹니다.
일주일간의 실제 사용은 어떤 사양표보다 많은 것을 알려주며, 위의 세 가지 결정을 모두 추정치에서 사실로 바꿔줍니다.
결론
가격이 아니라 대상이 요구하는 바에 따라 제품 유형을 선택하십시오. 물량과 지리적 범위에는 로테이팅 레지덴셜, 지속성에는 고정 ISP, 대상이 신경 쓰지 않는 곳에는 데이터센터를 사용하십시오. 요금제는 대역폭으로 산정하십시오. 이는 응답 크기와 요청량을 곱해 추정하고, 구매하기 전에 가져오는 것을 최적화하는 것을 의미하며, 이것만으로도 등급을 낮출 수 있습니다. 프로젝트가 실제로 사용하는 기능만 요구하십시오. 지리적 세분화와 세션 제어가 가장 자주 중요한 두 가지입니다. 그런 다음 확장하기 전에 실제 대상에서 검증하십시오. 측정된 사용량이 모든 추정치를 능가하기 때문입니다.
이것이 로테이팅 레지덴셜을 가리킨다면, 레지덴셜 프록시는 국가 및 도시 타겟팅, 기본 로테이션, 흐름에 필요할 때의 스티키 세션을 제공하며, GB당 가격 방식으로 좌석 수나 포트 할당이 아니라 실제로 이동하는 데이터를 기준으로 요금제가 산정됩니다.