로테이팅 설정으로 게이트웨이를 요청마다 바꾸도록 하고, 작업을 실행한 뒤 로그를 확인합니다. 같은 레지덴셜 주소가 한 시간 안에 세 번 나타납니다. 다음 날에는 전날의 주소 상당수가 다시 등장합니다. 로테이션이 고장 난 것일까요, 아니면 풀(pool)이 원래 그런 것일까요?
일부는 풀의 원래 특성이고, 일부는 눈여겨볼 만한 신호입니다. 로테이팅 레지덴셜 프록시 네트워크를 사용한다면, 둘을 구분할 줄 아는 것만으로도 게이트웨이 뒤에 있는 풀에 대해 많은 것을 알 수 있습니다. 이 가이드에서는 주소가 다시 나타나는 이유, Atlas가 이를 측정하는 두 가지 지표, 그리고 제공업체를 직접 확인하는 방법을 설명합니다.
반복이 일어나는 이유
로테이팅 프록시는 요청마다 또는 일정 간격마다 다른 출구 주소를 제공하지만, 그 주소는 해당 시점에 사용자의 국가에서 온라인 상태인 한정된 집합에서 뽑힙니다. 한정된 집합에서 무작위로 뽑으면 직관보다 훨씬 빨리 반복이 발생합니다.
예를 들어 설명하겠습니다. 타겟 국가에서 온라인 상태인 주소가 1,000개이고, 게이트웨이가 요청마다 하나를 무작위로 고른다고 가정해 보겠습니다. 요청이 약 40번만 지나도 어떤 주소를 두 번 이상 보았을 확률이 50%를 넘습니다. 이는 생일 문제와 같은 계산이며, 따라서 반복이 한 번 나타났다는 사실만으로는 아무것도 증명되지 않습니다.
게이트웨이는 또한 무작위로 고르지 않습니다. 속도가 빠르고 온라인 상태를 오래 유지한 주소를 선호하는 경향이 있어 트래픽이 안정적인 핵심 집단에 몰립니다. 예를 들어 도시 단위로 타겟을 좁히면 집합은 더욱 작아집니다.
하루 안의 반복과 며칠에 걸친 반복
로그에서는 비슷해 보여도 의미가 다른 반복이 두 종류 있습니다.
한 세션 또는 하루 안에서 발생하는 반복은 대개 사용자가 선택한 범위에서 온라인 상태인 주소의 수와 요청을 얼마나 몰아서 보내는지를 반영합니다. 해당 범위가 감당할 수 있는 양보다 시간당 요청을 많이 보내면 반복이 늘어납니다. 이는 용량의 문제이며, 국가와 시간대에 따라 달라집니다.
며칠에 걸친 반복은 풀 자체에 대해 말해 줍니다. 레지덴셜 주소는 자연스럽게 바뀝니다. 기기가 오프라인이 되고, 가정에서 공유기를 재시작하고, 인터넷 서비스 제공업체가 주소를 다시 할당합니다. 그래서 규모가 크고 진짜인 레지덴셜 풀은 하루하루 눈에 띄게 다르게 보입니다. 매일 아침 같은 주소 집합이 나타난다면, 풀이 보이는 것보다 작거나 게이트웨이가 항상 켜져 있는 고정된 출구 그룹에 크게 의존하고 있다는 뜻입니다.
두 번째 패턴이 중요한 이유는 타겟이 주소별로 평판을 관리하기 때문입니다. 같은 사이트에 매일 접속하는 주소는 그곳에 이력을 쌓게 되고, 주소가 속도 제한을 받거나 차단되는 것은 바로 이 이력 때문입니다.
풀 교체율(churn)이 측정하는 것
풀 교체율은 한 구간의 출구 주소 중 이전 어느 구간에서도 보지 못한 주소의 비율입니다. 오늘 받은 주소 중 정말 새로운 것이 얼마나 되는지에 답하는 지표입니다.
- 높은 교체율은 새로운 주소가 계속 들어온다는 뜻입니다. 로테이팅 작업에는 대개 바람직한 상태입니다.
- 낮은 교체율은 풀이 이미 본 주소를 재활용하고 있다는 뜻입니다.
교체율은 이력이 있어야 의미가 있습니다. 처음 측정하는 구간에서는 정의상 모든 주소가 새것이므로, 네트워크를 어느 정도 기간 추적한 뒤에야 이 수치가 유용해집니다.
교체율은 긴 세션에서는 비용이 되기도 합니다. 빠르게 바뀌는 주소는 세션 도중에 사라지는 주소이기도 합니다. 한 주소를 몇 분 동안 계속 써야 하는 작업이라면, 높은 교체율을 무조건 좋은 것으로 읽지 말고 스티키 세션이 실제로 얼마나 유지되는지를 별도 지표로 확인하세요.
반복 IP가 측정하는 것
반복 IP는 7일 또는 30일 구간에서 확인된 고유 출구 주소 중 이틀 이상 나타난 주소의 비율입니다. 24시간 구간에는 며칠에 걸친 반복이 있을 수 없으므로 이 구간에서는 표시하지 않습니다.
로테이팅 레지덴셜 풀이라면 이 수치가 낮게 유지되어야 합니다. 수치가 높다면 제품 페이지에서 로테이션을 어떻게 설명하든, 정적 주소처럼 동작하는 재고, 즉 매일 같은 출구가 나온다는 뜻입니다.
레지덴셜 풀이 애초에 왜 바뀌는지에 대한 배경은 제공업체가 레지덴셜 IP 풀을 구축하고 갱신하는 방법을 참고하세요.
두 지표를 함께 읽기
어느 한 지표만으로는 충분하지 않습니다. 함께 읽으면 풀의 형태를 알 수 있습니다.
- 높은 교체율, 낮은 반복. 크고 살아 있는 풀입니다. 받는 주소 대부분이 새것이고, 며칠씩 남아 있는 주소는 거의 없습니다.
- 낮은 교체율, 높은 반복. 작고 재활용되는 풀입니다. 같은 주소를 계속 만나고 새 주소는 거의 들어오지 않습니다.
- 높은 교체율, 높은 반복. 안정적인 핵심 집단과 계속 바뀌는 외곽으로 이루어진 풀입니다. 게이트웨이가 트래픽 상당 부분을 고정된 그룹으로 보내는 동안 새 주소는 가장자리에서 순환합니다.
세 번째 지표도 도움이 됩니다. 출구 IP당 요청 수, 즉 게이트웨이가 다른 주소로 넘기기 전에 한 주소가 연속으로 처리한 요청 수입니다. 이 지표는 라벨이 무엇이든 실제로 로테이션하는 제품과 조용히 스티키 세션처럼 동작하는 제품을 구분해 줍니다. 각각이 필요한 경우는 스티키 vs 로테이팅 레지덴셜 프록시 글에서 다룹니다.
Atlas의 측정 방식
Atlas는 모든 네트워크에 대해 같은 일정으로, 요청마다 각 타겟이 본 출구 주소를 5분 단위 구간으로 기록합니다. 세션과 로테이션 설정은 각 제공업체의 기본값으로 두므로, 수치는 판매되는 그대로의 제품을 나타냅니다.
Atlas는 이 기록에서 이전의 모든 구간과 비교한 교체율과 7일 및 30일 동안의 반복을 계산합니다. 모든 네트워크가 같은 시간에 같은 요청을 받기 때문에, 교체율이나 반복의 차이는 테스트가 아니라 풀을 반영합니다. 교체율과 반복 IP의 정확한 정의는 방법론 문서에 있으며, 테스트한 모든 네트워크의 고유 IP 수는 각 지표가 적용되는 규모를 보여 줍니다.
직접 측정하기
로그만 있으면 어떤 제공업체에 대해서도 두 지표를 측정할 수 있습니다.
- 받은 주소를 그대로 돌려주는 엔드포인트로 로테이팅 요청을 보냅니다. 모든 요청마다 주소와 타임스탬프를 기록합니다.
- 요청 속도와 국가를 고정하고, 매일 같은 시간대에 실행합니다.
- 매일이 끝나면 그날의 고유 주소 집합을 만듭니다.
- 교체율: 오늘의 주소 중 이전 어느 날의 집합에도 없는 주소의 수를 세고, 오늘의 전체 주소 수로 나눕니다.
- 반복: 일주일 뒤에 이틀 이상 나타난 주소의 수를 세고, 그 주의 전체 고유 주소 수로 나눕니다.
- 제공업체끼리 비교하려면 같은 구간에서 두 곳을 나란히 실행하세요.
본인의 작업량으로 쌓은 일주일치 로그는 어떤 로테이션 홍보 문구보다 설득력이 있으며, 관심 있는 사이트에서 풀이 실제로 어떻게 동작할지를 정확히 보여 줍니다.