프록시 제공업체들은 풀의 크기를 내세운다. 수백만 개의 IP, 수억 개의 IP. 풀의 크기는 중요하지만, 신뢰성 측면에서 그 못지않게 중요한 두 번째 질문을 가리고 있다. 바로 그 주소들이 얼마나 다양한 네트워크에서 나오는가이다. 소수의 네트워크에 걸친 천만 개의 IP 풀은 수천 개의 네트워크에 분산된 풀과는 매우 다르게 작동한다.
모든 IP 주소는 하나의 조직이 운영하는 네트워크에 속하며, 이는 자율 시스템 번호(ASN)로 식별된다. 레지덴셜 프록시의 경우 ASN은 보통 소비자용 인터넷 제공업체이다. 이 글에서는 ASN에 걸친 풀의 분산도가 왜 중요한지, 엑시트 샘플로부터 이를 어떻게 측정하는지, 그리고 그 수치를 어떻게 해석하는지 설명한다.
ASN 다양성이 중요한 이유
웹사이트와 안티봇 시스템은 IP 주소를 단독으로 판단하는 경우가 드물다. 이들은 맥락 속에서 판단하며, 네트워크는 그들이 가진 가장 강력한 맥락 요소 중 하나다.
- 차단은 네트워크 단위로 퍼진다. 한 사이트가 특정 네트워크에서 많은 어뷰징을 발견하면, 해당 네트워크 전체를 속도 제한하거나 챌린지에 걸 수 있다. 소수의 ASN에 집중된 풀은 이런 위험에 노출된다. 네트워크 수준의 결정 하나가 트래픽의 큰 비중에 영향을 미친다.
- 평판은 공유된다. 같은 네트워크에 속한 주소들은 그 네트워크의 평판 일부를 물려받는다. 다양한 풀은 하나의 네트워크 평판이 떨어져도 영향을 덜 받는다.
- 호스팅 네트워크는 정체를 드러낸다. 호스팅이나 데이터센터 네트워크 상의 주소가 상당 비중을 차지하는 “레지덴셜” 풀은 완전한 레지덴셜이 아니며, 사이트들은 그 주소들을 그에 맞게 취급한다.
- 지역적 사실성에는 지역 네트워크가 필요하다. 특정 국가나 도시에서 보이는 것처럼 데이터를 수집한다면, 엑시트는 그 지역 사람들이 실제로 사용하는 제공업체들에 걸쳐 분산되어 있어야 한다.
이것이 바로 특정 작업에서 특정 네트워크를 타게팅하는 것이 유용한 이유이기도 하다. 레지덴셜 프록시의 ASN 타게팅 가이드에서는 요청을 하나의 제공업체에 고정하는 것이 유리한 경우를 다루는데, 이는 정반대의 경우, 즉 특정 테스트를 위한 의도적인 집중이다.
”다양하다”는 것이 어떤 모습이어야 하는가
실제 인터넷 시장은 집중되어 있다. 대부분의 국가에서는 소수의 대형 제공업체가 대다수 가구에 서비스를 제공하고, 그 뒤로 더 작은 지역 및 모바일 네트워크들이 긴 꼬리처럼 이어진다. 건강한 레지덴셜 풀은 이러한 구조를 반영한다. 몇몇 대형 소비자 ISP가 엑시트의 상당 부분을 차지하고, 그 뒤로 더 작은 네트워크들이 많이 존재하는 형태다.
따라서 목표는 네트워크 간 완전히 균등한 비중이 아니다. 목표는 두 가지다.
- 단일 네트워크가 지배하지 않을 것. 해당 국가의 인터넷 시장 구조로 설명되는 수준을 넘어서지 않아야 한다.
- 긴 꼬리가 존재할 것. 서로 다른 네트워크가 많아서, 그중 어느 하나가 차단되더라도 트래픽의 극히 일부에만 영향을 미쳐야 한다.
측정 방법
제공업체의 전체 풀을 들여다볼 수는 없지만, 샘플링은 할 수 있다. 로테이팅 게이트웨이를 통해 요청을 보내고, 각 요청이 어떤 IP와 네트워크에서 나오는지 기록한 뒤, 그 샘플에 대해 집중도 지표를 계산한다.
중요한 대부분을 아우르는 네 가지 지표가 있다.
| 지표 | 측정 대상 | 해석 방법 |
|---|---|---|
| 고유 ASN 수 | 샘플에 등장하는 네트워크 수 | 높을수록 좋음. 샘플 크기에 따라 증가함 |
| 상위 1개 및 상위 5개 비중 | 가장 큰 1개 및 5개 네트워크가 차지하는 엑시트 비중 | 낮을수록 하나의 네트워크 결정에 대한 노출이 적음 |
| 허핀달-허쉬만 지수(HHI) | 비중의 제곱합. 0에 가까우면 분산되어 있고, 1이면 하나의 네트워크임 | 시장 집중도의 표준 지표 |
| 유효 ASN 수 | 1 / HHI: 샘플이 몇 개의 동일 규모 네트워크처럼 동작하는지 | 가장 직관적인 단일 수치 |
집중도와는 무관한 확인 사항을 하나 더 추가하자. 바로 비(非)레지덴셜 네트워크 상의 엑시트 비중이다. 레지덴셜 풀이라면 이 값은 0에 가까워야 한다.
아래 모듈은 무료 IP 지리위치 API인 ip-info.com을 사용해 프록시를 통한 엑시트를 샘플링한다. 이 API는 각 주소의 ASN, 네트워크 이름, 그리고 레지덴셜인지 호스팅 네트워크인지를 반환하며, 이를 바탕으로 지표를 계산한다.
from collections import Counter
import requests
def sample_exit(proxy_url, get=requests.get):
"""One exit through a rotating proxy: its IP, network (ASN) and network type."""
info = get("http://ip-info.com/json", proxies={"http": proxy_url, "https": proxy_url}, timeout=20).json()
return {"ip": info["ip"], "asn": info["asn"], "as_name": info["as_name"], "user_type": info.get("user_type")}
def diversity(exits):
"""How spread out a sample of exits is across networks."""
exits = list({e["ip"]: e for e in exits}.values()) # count each IP once
counts = Counter(e["asn"] for e in exits)
n = len(exits)
shares = sorted((c / n for c in counts.values()), reverse=True)
hhi = sum(s * s for s in shares) # Herfindahl-Hirschman index, 0 to 1
return {
"unique_ips": n,
"asns": len(counts),
"top1_share": round(shares[0], 3),
"top5_share": round(sum(shares[:5]), 3),
"hhi": round(hhi, 4),
"effective_asns": round(1 / hhi, 1), # as many equal-sized networks as this
"non_residential_share": round(sum(e["user_type"] != "residential" for e in exits) / n, 3),
}두 가지 1,000개 엑시트 예시 샘플은 넓은 풀과 좁은 풀이 얼마나 다르게 읽히는지 보여준다(실제 제공업체가 아닌 가상 데이터).
import random
from asn_diversity import diversity
random.seed(7)
# Illustrative samples of 1,000 exits from two pools (synthetic, not real providers)
broad = [{"ip": f"ip{i}", "asn": random.choice(range(60)), "user_type": "residential"} for i in range(1000)]
narrow = [{"ip": f"ip{i}", "asn": random.choice([1, 1, 1, 1, 2, 2, 3, 4]), "user_type": "residential"}
for i in range(1000)]
print("broad ", diversity(broad))
print("narrow", diversity(narrow))broad {'unique_ips': 1000, 'asns': 60, 'top1_share': 0.028, 'top5_share': 0.125, 'hhi': 0.0176, 'effective_asns': 57.0, 'non_residential_share': 0.0}
narrow {'unique_ips': 1000, 'asns': 4, 'top1_share': 0.506, 'top5_share': 1.0, 'hhi': 0.3466, 'effective_asns': 2.9, 'non_residential_share': 0.0}넓은 풀은 57개의 동일 규모 네트워크처럼 작동하며, 가장 큰 네트워크가 엑시트의 3% 미만을 차지한다. 좁은 풀은 3개 미만의 네트워크처럼 작동한다. 전체 엑시트의 절반이 하나의 네트워크에 몰려 있고, 모든 엑시트가 4개 네트워크 중 하나에 속한다. 좁은 풀에서는 가장 큰 ASN에 대한 단일 네트워크 수준의 차단만으로도 요청의 절반이 멈추게 된다.
공정한 샘플 얻기
측정을 정직하게 만드는 몇 가지 주의사항이 있다.
- 국가별로 샘플링한다. 다양성은 하나의 시장 안에서만 의미를 가진다. 국가를 섞으면 ASN 개수는 부풀려지지만 어느 한 국가에 대해서도 유의미한 정보를 주지 않는다.
- 충분한 요청 수를 사용한다. 고유 ASN 수는 샘플 크기가 커질수록 계속 증가하므로, 풀들을 동일한 샘플 크기에서 비교해야 한다. 국가당 1,000개의 엑시트가 합리적인 출발점이며, 비중과 HHI는 개수보다 더 빨리 안정화된다.
- 각 IP를 한 번만 센다. 로테이팅 풀은 동일한 주소를 두 번 이상 반환할 수 있다. 위 모듈은 IP 기준으로 중복을 제거한다.
- 샘플을 시간에 걸쳐 분산시킨다. 레지덴셜 풀은 기기들이 오가면서 하루 동안 변화한다. 여러 시간에 걸쳐 샘플링하는 것이 한 번에 몰아서 하는 것보다 더 정확한 그림을 준다.
- 모든 풀에 동일한 조회 소스를 사용한다. 서로 다른 지리위치 데이터베이스는 같은 주소를 약간 다른 네트워크로 귀속시킬 수 있다.
제공업체 선택 시 의미하는 바
풀 크기와 ASN 다양성은 서로 다른 질문에 답한다. 크기는 얼마나 많은 주소를 얻을 수 있는지를 말해주고, 다양성은 트래픽이 특정 네트워크의 결정에 얼마나 노출되어 있는지를 말해준다. 제공업체를 평가할 때는 두 가지를 모두 물어보고, 관심 있는 국가에서 직접 샘플링해 검증하라.
같은 사고방식은 고정 IP에도 적용된다. 장시간 세션을 위해 ISP 프록시를 구매한다면, 여러 제공업체와 도시에 걸쳐 분산시켜 모든 아이덴티티를 하나의 네트워크에 몰아넣지 않도록 하라. 돈을 낭비하지 않고 ISP 프록시 구매하기 가이드에는 트라이얼 IP 묶음을 확인하는 스크립트가 포함되어 있으며, 당사의 ISP 프록시에서는 모든 IP에 대해 도시와 ISP를 선택할 수 있다. 제공업체가 주소를 어떻게 소싱하는지도 다양성에 영향을 미친다. 제공업체가 레지덴셜 IP를 윤리적으로 소싱하는 방법 설명 글에서 무엇을 물어봐야 하는지 다룬다.
FAQ
프록시 네트워크에서 ASN 다양성이란 무엇인가?
프록시 풀의 IP 주소가 서로 다른 네트워크(자율 시스템)에 얼마나 폭넓게 분산되어 있는지를 말한다. 다양한 풀은 어느 하나도 지배하지 않는 많은 네트워크를 가지고 있으며, 집중된 풀은 대부분의 주소가 소수의 네트워크에 몰려 있다.
스크래핑에서 ASN 다양성이 왜 중요한가?
사이트들은 종종 개별 주소가 아니라 네트워크 전체에 대해 조치를 취한다. 엑시트 대부분이 하나의 네트워크를 공유한다면, 네트워크 수준의 차단 하나가 요청의 큰 비중에 영향을 미칠 수 있다.
ASN 다양성은 어떻게 측정하는가?
프록시를 통해 샘플 요청을 보내고, 각 엑시트의 ASN을 기록한 뒤, 가장 큰 네트워크들의 비중, 허핀달-허쉬만 지수, 유효 네트워크 수를 계산한다. 국가별로, 시간에 걸쳐, 그리고 비교하려는 각 풀에 대해 동일한 크기로 샘플링한다.
더 큰 프록시 풀이 항상 더 다양한가?
아니다. 큰 풀도 소수의 네트워크에 집중될 수 있다. 풀의 크기와 네트워크 다양성은 별개의 측정값이다.
결론
IP 개수는 풀의 크기를 측정하고, ASN 다양성은 풀의 복원력을 측정한다. 국가별로 엑시트를 샘플링하고, 각 IP를 한 번만 세고, 유효 네트워크 수, 최대 네트워크 비중, 비레지덴셜 엑시트 비중을 확인하라. 건강한 레지덴셜 풀은 지역 인터넷 시장을 반영한다. 몇몇 대형 소비자 ISP와 그 뒤를 잇는 긴 꼬리가 있으며, 어떤 단일 네트워크도 트래픽에서 과도한 비중을 차지하지 않는다.