모든 프록시 제공업체에는 속도에 관한 주장이 있습니다. 응답 시간을 제시하는 곳도 있고, “ping”을 말하는 곳도 있으며, 그냥 “가장 빠르다”고만 하는 곳도 있습니다. 이런 수치가 엄밀히 틀린 경우는 드뭅니다. 다만 가장 유리한 방식으로 측정된 뒤, 다른 방식으로 측정된 수치와 비교될 뿐입니다.
속도를 하나의 기준으로 삼아 레지덴셜 프록시를 고르실 때 필요한 것은 가장 작은 숫자를 찾는 능력이 아닙니다. 각 숫자가 무엇을 측정했는지 알아서, 어떤 수치가 실제로 코드가 보낼 요청을 설명하는지 가려내는 능력입니다.
프록시 ping이 측정하는 것
“프록시 ping”은 보통 두 가지 중 하나를 뜻합니다. 제공업체 게이트웨이로 보내는 ICMP ping이거나, 게이트웨이와 연결을 여는 데 걸리는 시간입니다. 둘 다 사용자와 제공업체 진입 서버 사이의 거리를 측정합니다. 레지덴셜 프록시를 느리게 만드는 구간은 어느 쪽도 건드리지 않습니다.
레지덴셜 요청은 클라이언트에서 게이트웨이로, 게이트웨이에서 가정용 또는 모바일 회선에 연결된 일반 사용자 기기로, 그 기기에서 타겟으로 이동했다가 같은 경로로 돌아옵니다. 게이트웨이는 대개 사용자와 가까운 곳의 연결이 좋은 데이터 센터에 있습니다. 반면 출구는 누군가의 가정용 광대역이나 Wi-Fi에 연결된 기기이며, 다른 대륙에 있을 수도 있습니다. 게이트웨이까지의 ping이 낮으면 좋지만, 실제로 기다리는 시간에서 차지하는 비중은 가장 작습니다.
따라서 ping은 “제공업체까지의 내 연결이 정상인가?”를 확인하는 진단 도구로는 충분하지만, “어느 제공업체가 가장 빠른가?”에 대한 답으로는 부적절합니다.
속도 주장을 검증하는 다섯 가지 질문
제공업체, 후기, 벤치마크 등에서 속도 수치를 보셨다면 다음을 물어보세요.
- 어느 지점까지 측정했습니까? 연결 시간, 첫 바이트, 마지막 바이트 중 하나입니다. 코드가 기다리는 것은 마지막 바이트입니다.
- 어느 백분위입니까? 평균이나 중앙값은 느린 꼬리 구간을 가립니다. 지연 시간 차트 읽는 법 안내에서 p99가 더 중요한 경우가 많은 이유를 설명합니다.
- 어떤 부하 조건입니까? 유휴 계정에서 보낸 요청 10건은 동시 요청 1,000건과 전혀 다른 결과를 냅니다.
- 어디에서 어디까지입니까? 측정 지점, 출구 국가, 타겟에 따라 결과가 달라집니다. 한 국가의 수치는 다른 국가에 대해 알려 주는 바가 거의 없습니다.
- 실패는 어떻게 처리했습니까? 차단과 타임아웃을 제외한 채 평균을 냈다면, 그 수치는 잘 처리된 요청만 설명합니다.
이 질문에 답하지 못하는 주장은 마케팅용 숫자입니다. 그렇다고 거짓이라는 뜻은 아니며, 비교할 수 없다는 뜻입니다.
빠른 차단도 실패입니다
빨라 보이는 가장 흔한 방법은 빠르게 실패하는 것입니다. 403으로 요청을 거부하거나 CAPTCHA를 내보내는 타겟은 전체 페이지를 렌더링하는 타겟보다 할 일이 적기 때문에, 거부 응답이 더 일찍 돌아오는 경우가 많습니다. 차단된 주소로 가득한 풀이 인상적인 응답 시간을 기록할 수 있는 것도 바로 이 때문입니다.
그래서 속도는 성공률과 함께 볼 때만 의미가 있습니다. Atlas는 각 타겟을 성공률 80%, 부하 상태의 속도 20%로 점수화하며, 각각 선두 네트워크와 비교합니다. 거부를 빠르게 하는 것만으로는 순위가 오를 수 없게 하기 위해서입니다. 직접 테스트할 때도 같은 원칙이 적용됩니다. 성공률 열 없이 시간 열만 읽지 마세요. 느린 요청과 실패한 요청이 비용에 미치는 영향은 성공한 요청당 비용에서 확인하실 수 있습니다.
Atlas가 속도를 점수화하는 방법
Atlas는 점수에 속도 수치를 하나만 반영하고, 나머지는 그 옆에 함께 표시합니다.
측정 대상. 일반 HTTP 타겟에 대해 프록시를 거쳐 요청을 시작한 시점부터 마지막 바이트까지 걸린 시간입니다. HTTPS 타겟은 CONNECT와 TLS 핸드셰이크가 추가되어 왕복 횟수가 대략 두 배가 되므로, 성공률과 차단은 보고하지만 지연 시간은 보고하지 않습니다. 이를 섞으면 어떤 타겟으로 테스트되었는지에 따라 네트워크가 유리해지기 때문입니다.
부하 상태에서. 각 수집 리전은 가장 빠른 국가를 기준 국가로 고릅니다. 모든 시간 구간에서 이 국가에 가벼운 요청을 소량 보내고, 1분 뒤에 전체 센서스 동시성 수준의 요청 물결을 보냅니다. 두 결과의 비율이 해당 리전의 둔화 계수가 되며, 이 계수를 그 리전에서 테스트한 모든 국가의 저부하 지연 시간에 적용합니다. 저부하 지연 시간도 옆에 함께 표시되므로, 각 네트워크가 바쁠 때 얼마나 느려지는지 확인하실 수 있습니다.
비율로 점수화. 속도 하위 점수는 부하 상태의 p50을 Atlas에서 가장 빠른 네트워크와 비교한 값입니다. 100 × leader ÷ yours로 계산합니다. 선두는 100점이고, 선두의 두 배 지연 시간을 가진 네트워크는 50점입니다. 속도는 기본 Atlas Score의 14%를 차지합니다. 정확한 점수 산정 규칙에서 모든 단계를 확인하실 수 있습니다.
사용하시는 작업에서 속도가 기본 가중치의 가정보다 더 중요하다면, 리더보드의 지연 시간 우선 프리셋이 속도의 비중을 높여 순위를 다시 계산합니다.
속도는 타겟과 국가에 따라 달라집니다
“가장 빠른 레지덴셜 프록시”라는 단일한 답은 없습니다. 특정 리전에서, 특정 국가로, 특정 종류의 타겟에, 특정 시간대에 가장 빠른 네트워크가 있을 뿐입니다.
국가. 가정용 광대역이 빠르고 타겟까지의 경로가 짧은 국가의 출구가 더 빨리 응답합니다. 도시처럼 좁은 위치를 지정하면 선택 가능한 출구가 줄어들고, 게이트웨이는 그것밖에 없다는 이유로 더 느린 출구를 배정할 수 있습니다.
타겟. 큰 리소스가 많은 무거운 페이지는 어느 네트워크에서나 작은 JSON 엔드포인트보다 오래 걸립니다. 방어가 적용된 타겟은 결국 성공하는 요청에도 챌린지 왕복을 추가할 수 있습니다. 타겟별 결과에서 같은 네트워크의 결과가 사이트마다 얼마나 달라지는지 확인하실 수 있습니다.
시간대. 레지덴셜 출구는 기기 소유자와 대역폭을 공유합니다. 출구 국가의 저녁 피크 시간대에는 아침에는 원활했던 요청도 느려질 수 있습니다. 한 시간대에서 얻은 수치는 한 순간의 스냅샷입니다.
속도가 중요한 경우와 그렇지 않은 경우
속도에 더 많은 비용을 쓰기 전에, 작업이 실제로 속도에 의해 제한되는지 확인하세요.
대량 수집. 기다리는 사용자 없이 많은 페이지 목록을 가져오는 경우, 처리량은 요청당 지연 시간보다 동시성에 의해 결정됩니다. 중앙값이 조금 더 낮은 네트워크로 바꾸는 것보다 요청을 더 많이 병렬로 실행하는 편이 대개 더 빨리 끝납니다. 이 경우에는 성공률이 더 중요합니다. 모든 실패가 곧 재시도이기 때문입니다.
대화형 또는 실시간 작업. 의사 결정 시점의 가격 확인, 광고 검증, 또는 사람이 기다리는 모든 작업은 꼬리 구간에 의해 제한됩니다. 이 경우 p90과 p99가 중앙값만큼 중요합니다.
여러 단계로 이어지는 세션. 로그인, 장바구니, 페이지 넘김 흐름은 순서대로 실행되므로 느린 단계가 하나씩 전체 시간에 더해집니다. 순수한 속도보다 일관성이 더 중요합니다.
제공업체 탓으로 돌려지는 지연 시간의 상당 부분은 사실 사용자의 클라이언트에 있습니다. 연결을 재사용하지 않거나, 지역 필터가 지나치게 좁거나, 타임아웃이 긴 경우입니다. 제공업체를 바꾸기 전에 시도해 볼 만한 해결책은 레지덴셜 프록시 사용 시 지연 시간 줄이기에서 다룹니다.
속도 주장을 직접 확인하는 방법
- 실제로 사용하는 타겟을 두세 개 고르되, TLS 왕복 없이 네트워크 자체의 시간을 잴 수 있도록 일반 HTTP 페이지를 최소 하나 포함하세요.
- 같은 요청을 같은 시간대에, 같은 기기에서, 운영 환경과 같은 동시성으로 각 네트워크에 보내세요.
- 각 요청을 마지막 바이트까지 시간으로 측정하고, 실제 페이지에 대한 자체 검사를 통과했는지도 기록하세요.
- 성공한 요청의 p50, p90, p99를 성공률과 함께 보고하세요.
- 출구 국가의 혼잡 시간대에 반복하세요. 순위가 뒤바뀐다면, 부하 상태에서 버티는 네트워크가 어디인지 알게 된 것입니다.
그런 다음 직접 얻은 수치를 Atlas와 비교해 보세요. Atlas는 같은 방식을 지속적으로 실행하며, Shifter도 다른 모든 네트워크와 동일한 규칙으로 테스트합니다.