레지덴셜 프록시 시장에는 공개적으로 거의 논의되지 않는 구조적 특징이 있습니다. 여러분이 구매할 수 있는 “네트워크” 중 상당수는 판매하는 주소의 대부분을 직접 보유하고 있지 않습니다. 소수의 운영사로부터 도매로 사들여 일부를 재판매하며, 라우팅, 타게팅, 도구 면에서 실질적인 부가가치를 더하는 경우도 있고, 마진 외에는 아무것도 더하지 않는 경우도 있습니다.
이것은 스캔들이 아닙니다. 재판매는 이동통신망부터 클라우드 호스팅까지 모든 인프라 시장에서 일반적입니다. 문제는 구매 시점에 이 사실이 드러나지 않는다는 점이며, 이로 인해 구매자가 늘 내리는 세 가지 결정이 조용히 틀어집니다. 어떤 공급자를 폴백으로 쓸지, 실제 용량이 얼마인지, 적정 가격이 얼마인지입니다.
다행히 이는 측정할 수 있습니다. 이 가이드는 공급망이 어떻게 작동하는지, 중복이 이러한 결정에 어떤 영향을 주는지, 그리고 대부분의 중복 수치를 무의미하게 만드는 샘플링 실수 없이 어떻게 측정하는지 설명합니다.
레지덴셜 공급은 실제로 어떻게 작동하는가
레지덴셜 엑시트는 보통 앱이나 SDK를 통해 네트워크를 위한 트래픽 중계에 동의한 실제 가정용 회선입니다. 이 공급을 구축하는 일은 느리고 비용이 많이 듭니다. 앱 제휴, 동의 절차, 정산, 부정 사용 방지, 그리고 수년간의 이탈 관리가 필요합니다. 이를 대규모로 수행하는 운영사는 소수에 불과합니다.
이들 주변에는 여러 층으로 이루어진 시장이 있습니다.
- 운영사는 기기를 확보하고, 그 기기를 통해 트래픽을 중계하는 인프라를 운영합니다.
- 도매 업체는 하나 이상의 운영사로부터 용량을 사서 대량으로 다시 판매하며, 때로는 여러 공급원을 하나의 게이트웨이 뒤에 섞어 제공합니다.
- 리셀러는 운영사나 도매 업체에서 구매해 자체 브랜드로 판매하며, 자체 대시보드, 요금제, 지원을 갖추는 경우가 많지만 트래픽은 다른 곳의 엑시트를 통해 나갑니다.
하나의 브랜드가 여러 층에 걸쳐 있을 수도 있습니다. 어떤 국가에서는 자체 공급을, 다른 국가에서는 외부에서 사들인 공급을 사용하고, 수요가 몰리는 시기에는 부족분을 채우기 위해 도매 피드를 쓰는 식입니다. 이 중 어느 것도 요금 페이지에는 나타나지 않습니다.
이로 인해 틀어지는 세 가지 결정
이중화. 공급자에게 문제가 생겼을 때 두 번째 공급자를 확보해 두라는 것이 표준적인 조언입니다. 그런데 두 곳이 같은 풀에서 가져온다면, 여러분이 산 것은 두 번째 공급원이 아니라 두 번째 청구서입니다. 타겟이 특정 주소 블록을 거부하기 시작하면 두 공급자 모두에 대해 동시에 거부하며, 이는 폴백이 도움이 되어야 하는 바로 그 순간입니다. 폴백의 엑시트 중 70%가 기본 공급자와 겹친다면, 폴백 트래픽의 70%는 타겟이 방금 불신하게 된 주소로 향합니다. 이 사실은 대개 장애가 발생했을 때 알게 됩니다.
용량. 공급자들은 풀 크기를 내세우고, 구매자는 이를 합산합니다. 대규모 네트워크가 1,000,000개의 고유 엑시트를 보여 주고, 소규모 네트워크가 70,000개를 보여 주는데 그중 50,000개가 대규모 네트워크에도 나타난다고 가정해 보겠습니다. 둘을 함께 쓰면 고유 엑시트는 1,070,000개가 아니라 1,020,000개입니다. 두 번째 공급자가 더한 주소는 7%가 아니라 2%인데, 요금제 전체 비용은 그대로 지불하게 됩니다.
가격. 리셀러의 원가는 업스트림 가격에 자체 마진을 더한 것입니다. 리셀러가 여러분이 가치를 두는 무언가를 더해 준다면 문제없을 수 있습니다. 그러나 같은 엑시트를 업스트림에서 더 싸게 살 수 있다면 가성비가 떨어지며, 많은 구매자는 업스트림이 존재한다는 사실조차 알지 못합니다.
핵심은 방향입니다
하나의 중복 비율은 측정에서 가장 유용한 부분을 가립니다. 공유된 주소는 양쪽에서 모두 읽어야 합니다.
앞의 예시를 보겠습니다. 관측된 엑시트가 70,000개인 네트워크와 1,000,000개인 네트워크 사이에 공통 주소가 50,000개 있습니다.
| 소규모 네트워크 | 대규모 네트워크 | |
|---|---|---|
| 관측된 고유 엑시트 | 70,000 | 1,000,000 |
| 상대와 공유하는 수 | 50,000 | 50,000 |
| 자체 풀 중 공유되는 비율 | 71% | 5% |
| 독점 비율 | 29% | 95% |
소규모 풀의 대부분이 대규모 풀 안에 들어 있고, 대규모 풀 중에서는 아주 일부만 소규모 풀 안에 있는 이 형태가 재판매의 전형적인 특징입니다. 관계는 한 방향으로 흐릅니다. 소규모 네트워크가 다운스트림입니다.
같은 국가의 소비자용 ISP에서 공급을 받는 독립 운영사 두 곳과 비교해 보겠습니다. 한쪽은 엑시트 400,000개, 다른 쪽은 300,000개를 보여 주고, 둘이 6,000개를 공유한다고 합시다. 이는 한쪽의 1.5%이고 다른 쪽의 2%입니다. 양방향 모두 작은 중복이며, 우연히 같은 가구 일부에 도달하는 두 네트워크에서 기대할 만한 수준입니다. 대칭적이고 작다면 두 네트워크가 따로 같은 일을 하고 있다는 뜻입니다. 비대칭적이고 크다면 한쪽이 다른 쪽에서 구매하고 있다는 뜻입니다.
샘플링의 함정
여러분이 보게 될 대부분의 중복 수치 뒤에는 다음과 같은 실수가 있습니다. 표본이 작으면 동일한 풀조차 서로 무관해 보입니다.
정확히 같은 2,000,000개 주소 풀을 판매하는 두 브랜드가 있다고 상상해 보겠습니다. 각각에서 엑시트 20,000개를 샘플링합니다. 평균적으로 일치하는 것은 약 200개, 즉 각 표본의 약 1%에 불과합니다. 이를 그대로 읽으면 두 네트워크는 거의 겹치지 않는다는 뜻이 됩니다. 그러나 실제로는 같은 네트워크입니다.
이런 일이 생기는 이유는 로테이팅 풀이 확인할 때마다 다른 조각을 내주기 때문입니다. 측정된 중복은 언제나 하한선입니다. 두 풀이 실제로는 관측한 것보다 훨씬 많이 공유할 수는 있어도, 더 적게 공유할 수는 없습니다. 그렇다면 “서로 다른 풀”과 “같은 풀이지만 표본이 작은 경우”를 어떻게 구분할 수 있을까요? 두 가지 방법이 있습니다.
각 풀의 자기 자신과의 중복과 비교합니다. 한 공급자에서 같은 시간대에 같은 방식으로 표본 두 개를 뽑아, 서로 얼마나 겹치는지 측정합니다. 이것이 기준선이며, 하나의 풀에서 뽑은 두 표본 사이에서 기대할 수 있는 최대 중복입니다. 그런 다음 공급자 간 중복을 이 기준선과 비교합니다.
relative overlap = overlap between A and B ÷ overlap of A with itself
상대 중복이 1에 가까우면, 표본으로 판단할 수 있는 한 B의 엑시트는 A의 풀에서 나온 것입니다. 0에 가까우면 독립적입니다. 그 중간이면 일부만 공유한다는 뜻이며, 공급의 일부를 구매하는 네트워크가 그 예입니다.
반복 관측으로 실제 풀 크기를 추정합니다. 같은 자기 중복으로부터 공급자가 실제로 도달할 수 있는 주소 수를 대략 추정할 수 있습니다. 생태학자들이 호수의 물고기 수를 셀 때 쓰는 포획-재포획 방법입니다.
estimated pool size ≈ (sample 1 size × sample 2 size) ÷ addresses seen in both
한 공급자에서 뽑은 엑시트 40,000개짜리 표본 두 개가 8,000개를 공유한다면, 그 공급자는 마케팅 문구와 상관없이 해당 시간대에 여러분의 타겟에서 대략 200,000개의 고유 주소에 도달하고 있는 것입니다. 이 추정은 모든 주소가 똑같은 확률로 배정된다고 가정하는데, 이는 완전히 맞지는 않으므로 전수 조사가 아니라 대략적인 규모로 받아들이시기 바랍니다. 그래도 광고된 풀 크기보다는 훨씬 현실에 가깝습니다.
공유 주소 외의 신호
주소 중복은 증거입니다. 같은 방향을 가리키는 다른 신호도 몇 가지 있으며, 먼저 눈에 띄는 경우가 많습니다.
- 공유된 장애. 두 네트워크가 같은 타겟에서 같은 시간에 실패하기 시작하고 함께 복구된다면, 같은 엑시트를 거치고 있을 가능성이 높습니다. 몇 주에 걸쳐 장애가 상관관계를 보인다면 다른 방식으로는 설명하기 어렵습니다.
- 동일한 위치 오류. 모든 네트워크는 주소를 국가와 도시에 매핑할 때 어느 정도 오류를 냅니다. 두 네트워크가 같은 주소를 같은 방식으로 틀리게 매핑한다면, 같은 업스트림 위치 데이터를 읽고 있거나 같은 트래픽을 보내고 있을 가능성이 높습니다.
- 동일한 게이트웨이 동작. 같은 오류 페이지, 같은 세션 파라미터 문법, 스티키 세션의 같은 특이점, 프록시 계층에서 오는 같은 응답 헤더는 그 아래에 같은 인프라가 있음을 시사합니다.
- 일치하는 ASN 및 국가 구성. ASN별, 국가별 비중이 거의 같은 두 풀은 의심해 볼 만합니다. 그것만으로는 아무것도 증명하지 못하지만(아래 참조), 비대칭적인 중복과 함께 나타나면 전체 그림을 채워 줍니다.
중복이 증명하지 못하는 것
이 측정은 과대 해석하기 쉬우므로 한계를 분명히 밝혀 둘 필요가 있습니다.
재판매는 사기가 아닙니다. 속도를 기준으로 엑시트를 선별하거나, 더 나은 타게팅이나 도구를 제공하거나, 지원에 더 빠르게 응답하는 리셀러는 실질적인 것을 판매하고 있습니다. 선별 작업이 효과를 내기 때문에 리셀러가 비교에서 가장 빠른 제품이 될 수도 있습니다. 문제는 재판매된 재고에 모르고 프리미엄을 지불하는 것, 또는 그 재고가 제공할 수 없는 독립성을 기대하고 의존하는 것입니다.
ASN이 같다고 주소가 같은 것은 아닙니다. 같은 대형 ISP에서 공급을 받는 두 네트워크는 ASN 분석에서는 비슷해 보이지만 실제 주소는 하나도 공유하지 않을 수 있습니다. ASN 수준의 유사성은 단서일 뿐이며, 주소 수준의 일치만이 증거입니다.
이웃 주소는 일치가 아닙니다. IPv4에서는 같은 /24 안의 두 엑시트가 서로 다른 가구인 경우가 많습니다. IPv6에서는 한 가구가 보통 /64 전체를 사용하므로 정확한 주소 일치로는 공유 기기를 놓치게 됩니다. 따라서 IPv6 엑시트는 /64 기준으로 비교하십시오. 두 규칙을 섞어 쓰면 실제 중복이 가려지거나 없는 중복이 만들어집니다.
방향은 시간에 따라 바뀔 수 있습니다. 리셀러로 시작해 자체 공급을 구축하는 네트워크는 달마다 중복이 줄어드는 모습을 보입니다. 새 업스트림을 추가하는 도매 업체는 중복이 갑자기 뛰는 모습을 보입니다. 하나의 시간대는 스냅샷일 뿐이며, 추세가 더 많은 것을 말해 줍니다.
두 번째 공급자가 실제로 가져다주는 것
중복을 알게 되면 다중 공급자 구성의 가치를 계산할 수 있습니다. 공급자가 둘일 때 실제로 도달할 수 있는 주소는 다음과 같습니다.
reachable exits = A + B − shared
셋이라면 세 곳을 모두 더하고, 쌍별 중복을 각각 빼고, 세 곳이 모두 공유하는 주소를 다시 더합니다. 실무에서 유용한 숫자는 더 단순합니다. 후보 각각이 지금 도달할 수 없는 엑시트를 몇 개나 더해 주는가입니다. 이것이 풀 크기가 아니라 구성 내에서 그 후보가 차지하는 독점 비율이며, 가격과 견주어 따져 봐야 할 숫자입니다.
이중화에서는 질문이 더 좁아집니다. 중요한 것은 전체 중복이 아니라 폴백이 필요한 타겟에서의 중복입니다. 두 네트워크가 쉬운 사이트에서는 독립적이어도, 어려운 사이트에서는 각 풀의 일부만 통과하기 때문에 작동하는 엑시트 대부분을 공유할 수 있습니다.
구매할 때 활용하는 방법
폴백을 고르기 전에 중복을 확인하십시오. 이중화를 위해 두 번째 공급자를 추가한다면, 핵심 타겟에서 기본 공급자와의 중복이 비교에서 가장 중요한 숫자입니다. 어느 네트워크의 성공률보다도 중요합니다.
풀 규모 주장은 독점 비율로 할인하십시오. 유용한 수치는 광고된 풀도, 측정된 풀도 아닙니다. 측정된 풀에 독점 비율을 곱한 값, 즉 다른 방법으로는 도달할 수 없는 주소의 수입니다.
공급 관련 내용은 서면으로 문의하십시오. 자체 공급을 보유한 공급자는 대체로 그 사실을 분명히 밝힙니다. “판매하는 엑시트를 직접 운영하십니까? 운영한다면 어느 국가입니까?”라는 질문에 모호하게 답한다면, 그 자체가 하나의 데이터입니다.
재판매의 특징은 기술적 위험이 아니라 사업상 위험으로도 다루십시오. 리셀러의 제품은 업스트림의 약관, 가격, 품질이 바뀌면 함께 바뀌며, 여러분은 업스트림과 아무런 관계가 없습니다. 프로토타입이라면 거의 문제가 되지 않습니다. 기한이 걸린 작업이라면 리스크 목록에 올려야 합니다.
직접 해 보기
두 곳 이상의 공급자 계정이 있다면 하루면 할 수 있는 작업입니다.
- 둘을 동시에 실행합니다. 같은 시간대에 각 공급자를 통해 같은 요청을 보냅니다. 풀은 끊임없이 로테이션되므로, 한쪽을 월요일에, 다른 쪽을 목요일에 샘플링하면 아무것도 알 수 없습니다.
- 타겟이 본 것을 기록합니다. 공급자 대시보드가 보고하는 값이 아니라, IP 에코 서비스 같은 타겟 측 확인에서 얻은 엑시트 주소를 모든 요청마다 기록합니다. 대시보드는 캐시되었거나 틀렸거나 게이트웨이를 설명하고 있을 수 있습니다.
- 공급자마다 표본을 두 개씩 뽑습니다. 각 공급자의 트래픽을 같은 크기의 두 절반으로 나누어, 자기 자신과의 중복을 측정할 수 있게 합니다.
- 충분히 샘플링합니다. 공급자당 수만 개의 고유 엑시트를 목표로 하십시오. 몇 천 개 미만에서는 모든 중복이 작아 보이고, 자기 중복과의 비교는 잡음이 됩니다.
- 주소를 정규화합니다. IPv4는 정확히, IPv6는 /64 기준으로 비교합니다.
- 양방향을 모두 계산합니다. 공유 수를 각 풀 대비 비율로 구한 다음, 각 풀의 자기 중복에 대한 상대 중복을 구합니다.
- 다음 달에 반복합니다. 시간대 간의 변화가 가장 많은 것을 말해 주는 결과인 경우가 많습니다.
Atlas는 어떻게 측정하는가
Atlas는 테스트하는 모든 네트워크 쌍에 대해 이 측정을 수행하고, 각 중복의 방향과 각 네트워크의 독점 비율을 포함해 프록시 풀 중복 페이지에 게시합니다. 모든 네트워크는 같은 시간대에 같은 요청으로 테스트되며, 각 네트워크가 내준 엑시트 주소는 쌍별로 교집합을 구합니다. 방법론에는 구체적인 수행 방식과 그 한계가 설명되어 있습니다.
이와 비슷한 것을 게시하는 비교 자료는 드뭅니다. 이 시장에서 주장이 아니라 직접 검증할 수 있는 몇 안 되는 것 중 하나라는 점을 생각하면 이상한 일입니다.