레지덴셜 프록시 무료 체험: 구매 전에 테스트해야 할 것

무료 체험판은 정해진 소량의 대역폭이며, 그것을 어떻게 사용하느냐가 무언가를 배울 수 있는지 여부를 결정한다. 흔한 접근법은 IP 주소를 반환하는 테스트 엔드포인트에 요청을 보내 주소가 바뀌는 것을 확인하고, 프록시가 작동한다고 결론짓는 것이다. 이는 실제로 알아야 할 것을 거의 알려주지 않으며, 사람들이 정작 필요로 하는 사이트에서 실망스러운 결과를 내는 플랜을 구매하게 되는 이유이기도 하다.

체험판은 단 하나의 질문에 답하기 위해 존재한다. 이것이 내 타겟에서, 내가 필요로 하는 규모로, 내가 필요로 하는 시장에서 작동할 것인가? 아래 내용은 대역폭이 다 소진되기 전에 가장 가치 있는 답을 먼저 얻을 수 있도록 순서를 정했다.

시작하기 전에: 낭비하지 않도록 준비하기

2분의 준비가 체험판의 가치를 바꾼다.

실제 타겟, 즉 프로젝트가 의존하는 실제 사이트나 엔드포인트를 적어두고, 쉬운 것들만이 아니라 가장 까다로운 것도 포함시켜라. 실제 시장, 즉 필요한 구체적인 국가와, 관련이 있다면 도시도 적어두어라. 그리고 무엇을 통과 기준으로 삼을지 미리 정하라. 예를 들어 두 국가에서 주요 타겟에 대해 90퍼센트의 유효한 응답이라는 식으로 말이다. 미리 정한 기준은 이후에 미흡한 결과를 합리화하는 것을 막아준다.

그런 다음 첫 요청을 보내기 전에 응답 검증 체계를 갖춰라. 이것이 준비 단계에서 가장 중요한 부분인데, 챌린지 페이지나 빈 결과, 잘린 목록, 일반 페이지로의 리디렉션이 흔히 200 상태 코드와 함께 도착하기 때문이다. 상태 코드만 세는 테스트는 아무것도 수집하지 못하면서 성공으로 보고할 것이다. 진짜 정상적인 페이지에서만 나타나는 마커, 예를 들어 예상되는 엘리먼트, 그럴듯한 콘텐츠 길이, JSON 내 알려진 필드 등을 확인하라. 이러한 실패 유형은 차단되거나 가짜인 콘텐츠 탐지하기에 정리되어 있다.

import requests

PROXY = "http://customer-USERNAME-country-us:PASSWORD@p.shifter.io:443"
PROXIES = {"http": PROXY, "https": PROXY}

def is_valid(html):
    return "product-price" in html and len(html) > 20_000   # your own marker

ok = 0
for i in range(100):                       # a small, honest sample
    r = requests.get("https://your-real-target.example/item/123",
                     proxies=PROXIES, timeout=20)
    if r.status_code == 200 and is_valid(r.text):
        ok += 1
print(f"validated success rate: {ok}%")    # not "did it return 200"

테스트 1: 내 타겟에서의 성공률

이것이 다른 모든 테스트를 합친 것보다 더 중요한 테스트이며, 체험판 대역폭 대부분을 여기에 써야 한다.

각 실제 타겟에 대해 100회 정도의 의미 있는 샘플을 실행하고, HTTP 성공률이 아니라 검증된 성공률을 측정하라. 가장 방어가 강한 타겟도 포함시켜야 한다. 쉬운 사이트는 처리하면서 어려운 사이트에서 무너지는 풀은 여러분의 문제를 해결해주는 풀이 아니기 때문이다. 현재 사용 중인 설정이 있다면 같은 샘플을 그 설정으로도 실행해 대조군으로 삼아, 추측이 아니라 비교를 하라.

진행 중에 성공률이 높게 시작했다가 점점 떨어지는 패턴을 주의 깊게 살펴라. 이는 대개 풀이 나빠서가 아니라 타겟에 비해 요청 속도가 지나치게 공격적이라는 뜻이며, 이는 프로덕션이 아니라 체험판 중에 배워야 할 페이싱 교훈이다.

테스트 2: 지리적 정확성

여러분의 프로젝트가 위치에 의존한다면(대부분 그렇다), 요청한 국가가 실제로 받는 국가와 일치하는지 확인하고, 편리한 한 예시가 아니라 실제로 필요한 모든 시장을 확인하라. 어떤 풀은 한 지역에서는 훌륭하지만 다른 지역에서는 빈약할 수 있으며, 마케팅 페이지에 나온 전체 수치는 여러분이 실제로 수집하려는 특정 장소에 대해 아무것도 알려주지 않는다.

확인해볼 가치가 있는 두 가지 수준이 있다. 첫째, 종료 주소가 요청한 국가로 지오로케이션되는지, 불일치를 잡아낼 수 있을 만큼 충분한 요청 수에 걸쳐 샘플링하여 확인하는 것이다. 둘째, 더 의미 있는 것으로, 타겟 사이트가 실제로 여러분이 그곳에 있는 것처럼 행동하는지 확인하는 것이다. 올바른 통화, 현지 가격, 지역별 카탈로그, 지역 검색 결과 등이다. 두 번째가 진짜 테스트인데, IP 지오로케이션 데이터베이스와 타겟 사이트 자체의 판단이 항상 일치하지는 않으며, 여러분이 돈을 지불하는 대상은 결국 타겟의 판단이기 때문이다. 도시 단위 타겟팅이 필요하다면, 국가 단위 정확성이 도시 단위 정확성을 의미한다고 가정하지 말고 도시 단위로 직접 검증하라.

테스트 3: 풀이 주장하는 대로인가

약간의 대역폭을 들여 종료 주소를 샘플링하고 이를 소속 조직별로 그룹화해보라. 소비자용 인터넷 제공업체가 여러분이 보고 싶은 결과다. 호스팅이나 클라우드 조직의 비중이 상당하다면, 그 풀이 데이터센터 대역으로 희석되어 있다는 뜻이며, 이는 중요한데 그런 주소들은 타겟 사이트가 봇 트래픽으로 취급할 주소들이기 때문이다. 전체 방법은 레지덴셜로 판매되는 데이터센터 IP 찾아내기에 나와 있으며, 그 근간이 되는 구분은 레지덴셜 IP의 해부에 있다.

이와 함께, 주소 품질은 주소 유형과는 별개의 축이라는 점도 유의하라. 진짜 레지덴셜 풀이라도 남용되어 평판이 나빠졌다면 여전히 챌린지를 유발할 것이며, 이는 정확히 테스트 1에서 외부에서 측정하는 바이다.

테스트 4: 세션 동작

프로젝트의 일부가 다단계 흐름, 예를 들어 페이지네이션이 있는 검색, 로그인, 설정한 뒤 다시 읽어오는 위치 컨텍스트 등을 포함한다면, 체험판 중에 두 가지를 확인하라.

세션을 지정하지 않았을 때 로테이션이 실제로 일어나는지 확인하고, 고정 세션이 필요한 시간 동안 실제로 하나의 주소를 유지하는지 확인하라. 그런 다음 고정 세션에서 실제 다단계 시퀀스 하나를 처음부터 끝까지 실행해보라. 풀이 단일 요청에서는 괜찮아 보이더라도 그 아래에서 주소가 바뀌면 흐름이 깨질 수 있기 때문이다. 여러 개의 고정 아이덴티티를 동시에 필요로 하는 작업이라면, 동시 세션들이 서로 독립적으로 동작하는지도 확인하라.

테스트 5: 성능과 소비량

기록해야 할 두 가지 수치가 있으며, 둘 다 결국 구매하게 될 플랜에 영향을 준다.

작업이 시간에 민감하다면 지연 시간과 처리량이 중요하므로, 속도 테스트용 엔드포인트가 아니라 실제 타겟에서 프록시를 통한 응답 시간을 측정하라. 그리고 레지덴셜은 트래픽이 더 긴 경로를 거치므로 직접 연결보다 느릴 것으로 예상하라. 중요한 것은 그것이 여러분의 작업에 충분히 빠른지 여부이지, 데이터센터 벤치마크와 비교했을 때 어떤지가 아니다. 측정 방법은 속도, 성공률, 위치 정확성 테스트하기에 나와 있다.

그런 다음 요청당 바이트 수를 측정하라. 이는 플랜 견적을 실제 플랜 결정으로 바꿔주는 수치다. 측정된 평균값에 예상되는 월간 요청량을 곱하면 추측이 아닌 실제 대역폭 수치가 나오며, 이는 월간 대역폭 산정하기의 입력값이 된다. 결과가 부담스럽다면, 전체 페이지를 렌더링하는 대신 데이터 엔드포인트를 가져오는 것만으로 한 단계 낮은 플랜으로 내려갈 수 있다는 것을 발견할 순간이기도 하다. 이는 프록시 대역폭 비용 절감하기에서 다룬다.

체험판에 낭비하지 말아야 할 것

몇 가지는 대역폭만 소모할 뿐 아무것도 알려주지 않는다.

IP 에코 엔드포인트로 테스트하는 것은 프록시가 연결되어 있음을 증명할 뿐이며, 이는 평가라기보다 30초짜리 정상 작동 확인에 가깝다. 쉬운 타겟만 테스트하는 것은 풀을 과대평가하게 만들고 정작 필요했던 답을 가려버린다. 한 타겟에 엄청난 양의 트래픽을 몰아넣는 것은 품질을 측정해주지 않으며 오히려 해당 주소를 차단당하게 만들어 풀을 실제보다 나쁘게 보이게 할 수 있다. 그리고 소수의 요청만으로 판단하는 것은 노이즈만 줄 뿐이다. 5회짜리 샘플로는 95퍼센트 풀과 70퍼센트 풀을 구분할 수 없다.

하나 더: 풀 규모 주장만으로 프로바이더를 평가하지 마라. 헤드라인 수치는 체험판으로 검증할 수 있는 것이 아니며, 여러분의 결과를 결정하는 요소도 아니다. 결정 요소는 여러분이 필요로 하는 국가에서의 밀도와 여러분의 타겟에서의 성공률이다.

체험판 체크리스트

1. 준비: 가장 까다로운 타겟을 포함한 실제 타겟, 실제 시장, 통과 기준, 그리고 첫 요청 이전에 작성된 응답 검증 체계.
2. 검증된 성공률 측정: 타겟당 약 100회 요청, 가능하면 대조군과 함께.
3. 필요한 시장별로 지리 정보를 검증: 종료 위치와 타겟 사이트의 반응 모두.
4. 종료 조직을 샘플링하여 풀이 진짜 레지덴셜인지 확인.
5. 고정 세션에서 실제 다단계 흐름 하나를 실행해보고, 세션 없이는 로테이션이 되는지 확인.
6. 지연 시간과 요청당 바이트 수를 기록한 뒤, 측정된 수치로 플랜 규모를 결정.

체험판이 이 여섯 가지 모두를 여러분의 실제 타겟에서 통과한다면, 플랜 결정은 믿음의 도약이 아니라 산술 문제가 된다. 플랜 수준의 전체 선택지는 올바른 레지덴셜 프록시 플랜 선택하기에 나와 있다.

결론

체험판은 대역폭이며, IP 에코 엔드포인트에 쓴 대역폭은 애초에 갖고 있지 않던 질문에 답할 뿐이다. 실제 응답 검증과 함께 실제 타겟에 대역폭을 쓰고, 실제로 필요한 시장을 검증하고, 풀이 진짜 레지덴셜인지 확인하고, 작업에 세션 흐름이 있다면 그것을 실행해보고, 요청당 바이트 수를 기록해 측정값에 기반해 플랜 규모를 정하라. 시작 전에 통과 기준을 정하라. 그렇게 하면 체험판이 끝날 때 그 제품이 여러분의 문제를 해결하는지 알게 될 것이며, 그것이 체험판이 존재하는 유일한 이유다.

이 체크리스트를 직접 실행해보고 싶다면, 국가 및 도시 타겟팅, 기본 로테이션, 필요한 흐름을 위한 고정 세션을 제공하는 Shifter 레지덴셜 프록시 무료 체험판에서 시작할 수 있다. 수치가 나오면, GB당 요금제를 통해 여러분이 측정한 대역폭에 따라 플랜을 선택할 수 있으며, 추측에 의존할 필요가 없다.