대부분의 레지덴셜 프록시 네트워크 비교는 첫 번째 요청을 보내기도 전에 결과가 정해집니다. 한 제공업체는 월요일에, 다른 제공업체는 금요일에 테스트합니다. 한쪽에는 쉬운 타겟이, 다른 쪽에는 어려운 타겟이 주어집니다. 한쪽은 상태 코드로, 다른 쪽은 페이지가 실제로 로드되었는지로 평가됩니다. 결과는 측정값처럼 보이지만, 대부분 테스트가 어떻게 구성되었는지를 반영할 뿐입니다.
이 가이드는 테스트를 제대로 구성하는 방법을 다룹니다. Shifter의 레지덴셜 프록시를 현재 사용 중인 제공업체와 비교하든, 한 번도 써 보지 않은 세 네트워크 중에서 고르든 규칙은 같으며, 이는 Atlas가 테스트하는 모든 네트워크에 적용하는 규칙입니다.
단 하나의 규칙: 같은 요청, 같은 타겟, 같은 시간대
이 가이드의 나머지 내용은 모두 하나의 원칙에서 나옵니다. 비교에 포함된 모든 네트워크는 같은 요청을, 같은 타겟으로, 같은 위치에서, 같은 시간에 보내야 합니다.
사람들이 가장 자주 건너뛰는 부분이 “같은 시간”입니다. 타겟 사이트는 방어 방식을 시간 단위로 바꿉니다. 레지덴셜 풀은 일반 가정의 연결로 이루어진 유동적인 집합이며, 하루 동안 커졌다 작아졌다 합니다. 네트워크 A를 정오에, 네트워크 B를 자정에 테스트하면 두 네트워크가 아니라 두 시점을 비교하는 것입니다. 네트워크를 동시에 실행하거나 같은 실행 안에서 요청을 번갈아 보내서, 타겟과 인터넷의 상태가 양쪽에 똑같이 영향을 주도록 하세요.
Atlas는 이를 필수 조건으로 적용합니다. 모든 네트워크가 같은 일정을 받고, 결과는 각각 같은 가중치를 갖는 시간 슬롯으로 묶이므로, 한가한 시간에 테스트했다는 이유만으로 더 좋아 보이는 네트워크는 없습니다. 구체적인 방식은 방법론 페이지의 시간대 규칙에 자세히 나와 있습니다.
테스트 전에 통과 기준을 작성하세요
비교에는 네트워크와 무관한 성공의 정의가 필요합니다. 아무것도 보내기 전에, 타겟별로 문서로 정해 두세요.
- HTML 페이지의 경우, 성공은 파싱할 수 있는 특정 요소입니다. 가격, 상품 제목, 결과가 하나 이상 있는 결과 목록 등이 해당합니다.
- API의 경우, 필요한 필드가 들어 있는 JSON 응답입니다.
- 검색 페이지의 경우, 빈 페이지나 동의 화면이 아니라 실제 검색 결과입니다.
이 기준을 통과하지 못하면 상태 코드와 상관없이 모두 실패입니다. CAPTCHA나 중간 페이지는 대개 HTTP 200으로 도착하기 때문에 이 점이 중요합니다. 상태 코드만 세는 테스트는 요청의 상당 부분에서 차단 검증을 받는 네트워크에도 거의 완벽한 성공률을 보고하게 됩니다. 실패는 진행하면서 유형별(챌린지, 차단, 타임아웃)로 분류하세요. 전체 수치보다 유형별 구성이 더 많은 것을 알려 줍니다.
실제 작업과 비슷한 타겟을 고르세요
방어 장치가 없는 테스트 엔드포인트에서는 모든 네트워크가 훌륭하다고 나옵니다. 사실이지만 쓸모가 없습니다. 레지덴셜 풀 사이의 차이는 스스로를 적극적으로 방어하는 사이트에서만 나타나며, 사이트마다 다르게 나타납니다.
실제로 스크래핑하거나 검증할 대상과 비슷하면서 난이도가 다양한 소수의 타겟을 고르세요. 대조군으로 쓸 공개 페이지, 마켓플레이스, 검색 엔진, 그리고 의존하는 사이트 중 가장 어려운 곳이 좋은 구성입니다. 결과는 평균만 보지 말고 타겟별로 읽으세요. Atlas 테스트 타겟별 성공률에서 사이트에 따라 네트워크의 순위가 얼마나 달라질 수 있는지 확인할 수 있습니다.
타겟의 입장에서 측정하세요
사소해 보이지만 결과가 실제인지 아닌지를 가르는 것이 두 가지 있습니다.
타겟이 본 exit IP를 기록하세요. 제공업체 대시보드가 보고하는 주소가 아니라 타겟에 실제로 도달한 주소를 각 요청이 반환하거나 로그로 남기게 하세요. 대시보드는 캐시된 값을 보여 주거나, exit 대신 게이트웨이를 설명하거나, 단순히 틀릴 수 있습니다. 나중에 풀 규모, 위치 정확도, 중복에 대해 말하는 모든 내용은 이 필드 하나에 달려 있습니다.
exit를 직접 조회하세요. 요청 시점에 공개 데이터베이스로 각 주소를 국가, 도시, ASN에 매핑하세요. 이렇게 해야 레지덴셜로 판매되는 풀에 호스팅 주소가 섞여 있는지, 또는 한 국가를 지정한 요청이 다른 국가에서 나가는지 알 수 있습니다.
실제로 운영할 규모로 테스트하세요
유휴 상태의 지연 시간은 실제 작업 중의 지연 시간이 아닙니다. 많은 게이트웨이는 요청이 몇 건일 때는 빠르다가 지속적인 동시 요청 상황에서는 눈에 띄게 느려지며, 실제 운영에서는 바로 이 상황에 놓이게 됩니다.
테스트의 적어도 일부는 프로덕션에서 사용할 동시 요청 수로 실행하고, 평균 대신 백분위수를 보고하세요. 중앙값은 일반적인 요청이 어떤지를 알려 주고, 느린 꼬리 구간은 작업이 제시간에 끝나는지를 알려 줍니다. 프로덕션에서 바꿀 계획이 아니라면 각 제공업체의 세션과 로테이션 설정은 기본값으로 두세요. 그래야 아무도 쓰지 않는 구성이 아니라 판매되는 그대로의 제품을 측정하게 됩니다.
의미가 있을 만큼 충분한 데이터를 모으세요
네트워크당 수십 건의 요청으로도 순위는 나오지만, 다시 실행하면 유지되지 않는 순위입니다. 표본이 작으면 우연이 결과를 좌우합니다. 한 타겟에서 불운한 1분이 결과를 뒤집을 수 있습니다.
요청을 타겟 전체에 고르게 분산하고, 한가한 시간과 바쁜 시간이 모두 포함되도록 충분히 긴 시간대에 걸쳐 보내세요. 작은 차이를 근거로 결정하기 전에 둘째 날에 비교를 다시 실행하세요. 순서가 뒤바뀐다면 두 네트워크는 비슷한 수준이므로 가격이나 지원으로 결정해야 합니다. 그때 각 네트워크가 제공한 고유한 exit IP의 수도 함께 세어 보세요. 이중화를 위해 두 제공업체를 쓸 계획이라면 두 집합의 교집합을 구하세요. 주소의 대부분을 공유하는 두 네트워크는 두 개의 소스가 아니기 때문입니다.
비용은 마지막에 비교하세요
성공률을 공정하게 측정한 뒤에야 가격이 의미를 갖습니다. 트래픽 기준으로 각 네트워크에 들 비용을, 통과 기준을 만족한 요청 수로 나누세요. 실패한 요청에도 요금은 청구되므로, 요금표가 낮아도 통과율이 낮으면 가장 비싼 선택이 될 수 있습니다. 성공한 요청당 비용 가이드에서 계산 방법을 단계별로 설명합니다.
공정한 테스트 체크리스트
- 모든 네트워크에 같은 요청, 같은 타겟, 같은 위치, 같은 시간대를 적용합니다.
- 타겟별 통과 기준을 테스트 전에 문서로 정합니다.
- 실패를 챌린지, 차단, 타임아웃으로 분류합니다.
- 어려운 타겟을 포함하여 실제 워크로드와 비슷한 타겟을 고릅니다.
- exit IP를 타겟 쪽에서 기록하고 독립적으로 조회합니다.
- 테스트의 일부를 프로덕션 동시 요청 수로 실행하고 지연 시간 백분위수를 확인합니다.
- 세션과 로테이션 설정은 제공업체 기본값을 사용합니다.
- 다시 실행해도 유지될 만큼 충분한 요청을 충분한 시간 동안 보냅니다.
- 성공한 요청당 비용은 마지막에 계산합니다.
측정용 코드가 필요하시다면, 레지덴셜 프록시 속도, 성공률, 위치 정확도 테스트 방법 글에 가져다 쓸 수 있는 스크립트가 있습니다. Atlas는 이 체크리스트 전체를 지속적으로 실행하며, 나란히 비교 페이지에서는 Atlas가 테스트하는 모든 네트워크를 체험판에 비용을 쓰기 전에 나란히 놓고 비교할 수 있습니다.