대부분의 레지덴셜 프록시 가이드는 국가, 주, 도시 수준에서 멈춘다. 열 번 중 아홉 번은 그 정도로 충분하다. 문제는 열 번째 경우인데, 바로 이 지점에서 ASN 타겟팅이 제 역할을 한다. 애틀랜타의 컴캐스트 가입자처럼 보이는 레지덴셜 프록시와 그냥 “미국에서 온 IP”처럼 보이는 프록시의 차이가 여기서 갈린다.
이 글은 레지덴셜 프록시에서의 ASN 수준 타겟팅에 관한 실용적인 가이드다. ASN이 실제로 무엇인지, 레지덴셜 풀에서 이것이 왜 특히 중요한지, 언제 이를 활용해야 하고 언제 국가나 도시 타겟팅으로 충분한지, 그리고 Shifter 레지덴셜 게이트웨이에서 asn 플래그를 구체적인 예시와 함께 어떻게 사용하는지를 다룬다.
한 문장만 기억한다면 이것이다: ASN 타겟팅을 사용하면 IP 뒤에 있는 통신사를 선택할 수 있으며, 이는 스크래핑하려는 사이트가 방문자가 어느 ISP에서 왔는지 신경 쓰는 모든 경우에 중요하다.
ASN이란 무엇인가, 쉽게 설명하면
Autonomous System Number는 “이 IP 주소 블록은 이 네트워크 운영자에게 속한다”는 것을 나타내는 식별자다. 모든 ISP, 모든 모바일 통신사, 모든 클라우드 제공업체, 모든 대기업은 최소 하나의 ASN을 가지고 있다. AT&T는 AS7018이다. Comcast는 AS7922다. Charter Communications는 AS20115다. Vodafone(영국 소비자용 ISP)은 AS5378이다. Deutsche Telekom은 AS3320이다. 이들은 지역 인터넷 등록기관(ARIN, RIPE, APNIC, LACNIC, AFRINIC)에서 발급하며 변경되지 않는다.
패킷이 공개 인터넷을 넘나들 때, 라우팅 프로토콜인 BGP는 모든 IP를 이를 알리는 ASN까지 추적한다. 누구나 Hurricane Electric의 BGP 도구나 RIPE의 데이터베이스 같은 무료 도구를 사용해 IP 뒤에 있는 ASN을 조회할 수 있다. 73.158.97.42와 같은 레지덴셜 IP의 경우, 조회 결과는 AS7922 (Comcast Cable Communications)가 나온다. 52.0.0.1과 같은 데이터센터 IP의 경우, AS14618 (Amazon)이 나온다. ASN은 우리가 보고 있는 것이 실제 소비자 연결인지 서버 팜인지를 알려주는 지표다.
바로 이 신호, 즉 ASN 카테고리는 안티봇 시스템이 레지덴셜 트래픽과 데이터센터 트래픽을 구분하는 데 사용하는 가장 신뢰할 수 있는 특징이다. Cloudflare, Akamai, DataDome, PerimeterX 모두 출발지 ASN이 알려진 호스팅 제공업체에 속하는지 실제 ISP에 속하는지를 확인해서 부분적으로 트래픽 점수를 매긴다. 이것이 바로 진짜 레지덴셜 IP는 통과하고 데이터센터 IP는 CAPTCHA를 받는 이유이며, 레지덴셜 IP의 해부학이 어느 네트워크가 그것을 소유하는지에서 시작하는 이유이기도 하다.
ASN이 레지덴셜 프록시에 특히 중요한 이유
레지덴셜 프록시의 핵심은 IP가 실제 소비자 연결과 구분되지 않아 보인다는 점이다. 국가 타겟팅은 대부분의 사용 사례에서 이를 충족시킨다. 미국 레지덴셜 IP는 그것이 Comcast에 있든 Verizon에 있든 관계없이 미국 레지덴셜 IP다. “이 미국 전용 카탈로그를 스크래핑하고 차단당하지 않기” 위해서는 국가만으로 충분하다.
하지만 사이트 자체가 ASN을 읽어 보여주는 내용을 바꾸는, 결코 사소하지 않은 스크래핑 사례들이 있다. 이 지점에서 ASN 수준 타겟팅은 있으면 좋은 기능을 넘어선다.
통신사별 라우팅 및 콘텐츠. 스트리밍 서비스, 광고 네트워크, 일부 소매 사이트는 방문자의 ISP에 따라 서로 다른 콘텐츠, 다른 가격, 다른 재고를 제공한다. “텍사스의 AT&T 가입자가 이 페이지에서 무엇을 보는지”를 확인하려는 모니터링 도구는 일반적인 미국 레지덴셜 IP로는 이를 흉내낼 수 없다. 페이지가 실제로 AT&T 방문자로 라우팅하는 AS7018 IP가 필요하다.
ISP별 광고 검증. 통신사 번들 광고 배치(T-Mobile의 TV 파트너십, ISP 배포 광고 유닛)를 통해 캠페인을 운영하는 광고주는 해당 통신사의 실제 네트워크에서 크리에이티브를 검증해야 한다. 해당 통신사의 ASN이 아닌 IP에서는 광고가 제대로 렌더링되지 않거나 아예 렌더링되지 않는다.
국가가 아닌 ASN을 사용하는 지역 제한 우회. 일부 뉴스 사이트와 정부 포털은 “국내 통신사의 실제 가입자”로 제한하고 싶어서 국가가 아닌 ISP로 지역을 제한한다. 이런 경우 국가는 완벽하게 일치하지만 다른 통신사에 있는 레지덴셜 IP는 여전히 403 오류를 받을 수 있다.
서비스 품질 테스트. 특정 ISP 네트워크에서의 성능을 테스트하는 SaaS 팀(“마드리드의 Vodafone DSL 연결에서 우리 앱이 어떻게 로딩되는가”)은 실제로 해당 ASN에서 발생하는 트래픽이 필요하다. 그렇지 않으면 지연 시간, MTU, 미들박스 프로필이 일치하지 않는다.
사기 방지 조사. 브랜드 보호 팀은 사기 패턴을 조사할 때 사기꾼이 실제 소비자 연결에서 활동하는지 아니면 알려진 프록시 제공업체의 ASN에서 활동하는지 확인하기 위해 종종 특정 ASN에서 트래픽을 재현해야 한다.
이 중 어느 것도 이론적인 것이 아니며, 모두 우리가 레지덴셜 게이트웨이에서 ASN을 일급 타겟팅 플래그로 노출하는 이유이고, 모두 국가 전용 프록시가 이 작업에 맞지 않는 도구인 이유이기도 하다.
ASN 타겟팅이 필요하지 않을 때
대부분의 글에서 빠뜨리는 부분이 이것이다. ASN 타겟팅은 국가보다 더 정밀한 도구이며, 더 느리고, IP 가용성 측면에서 더 비용이 많이 들며, 작업할 수 있는 풀도 더 작다. 필요하지 않다면 사용하지 마라.
다음의 경우 ASN 타겟팅이 필요하지 않다:
- 스크래핑하는 사이트가 ISP가 아니라 국가나 도시에 신경 쓰는 경우. 대부분의 전자상거래, 대부분의 공개 데이터 스크래핑, 대부분의 SEO 모니터링, 대부분의 가격 집계가 여기에 해당한다.
- 대규모 세션 집합에서 공격적으로 로테이션하는 경우. ASN을 고정하는 이점은 각 개별 IP가 사용되는 정도에 따라 커진다. IP당 페이지 하나씩만 방문하고 넘어간다면 ASN은 큰 차이를 만들지 않는다.
- 병목 지점이 신뢰 점수가 아니라 동시성인 경우. 단일 ASN으로 제한하면 풀이 줄어든다. 이미 국가 풀의 사용 가능한 IP 중 80%를 사용하고 있다면, ASN 매칭이 무언가를 얻기 전에 스스로 병목이 생긴다.
- 그냥 “레지덴셜”이면 되는 경우. 레지덴셜 풀은 정의상 레지덴셜이다. ASN은 이미 소비자 ISP다. 신경 쓰지 않는다면 어느 것인지 지정할 필요가 없다.
이렇게 생각하면 맞다: 국가는 신뢰를 얻어준다. ASN은 그 신뢰 범위 내에서 특정한 정체성을 얻어준다. 대부분의 워크로드는 후자가 아니라 전자를 필요로 한다.
Shifter 게이트웨이에서 asn 플래그 사용하기
Shifter 레지덴셜 게이트웨이는 사용자 이름 안에 타겟팅 플래그를 받는다. ASN에 대한 플래그는 asn이다. 플래그 순서는 상관없다. asn을 country, state, city, sid, ttl과 어떤 순서로든 조합할 수 있다.
가장 기본적인 ASN 단독 호출:
curl -x customer-USERNAME-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.org이것은 알리는 ASN이 AS7922, 즉 Comcast Cable Communications인 레지덴셜 IP를 반환한다. 국가 제약도 없고 도시도 없다. 특정 국가의 Comcast IP로 제한하려면(Comcast는 미국에서만 운영하지만 패턴은 일반화된다), 국가 플래그를 추가한다:
curl -x customer-USERNAME-country-us-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.org동일한 IP는 세션에 대해 고정될 수 있다. sid(생성한 임의의 문자열, 게이트웨이는 이를 불투명한 세션 ID로 사용한다)와 초 단위의 ttl을 추가하면, 게이트웨이는 해당 세션 ID에 대해 해당 TTL 동안 동일한 Comcast IP를 유지한다:
curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \ https://target-site.example/page-1curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \ https://target-site.example/page-2두 요청 모두 최대 900초 동안 동일한 레지덴셜 IP, 즉 동일한 Comcast 가입자 형태의 출처에서 온다. 그 이후에는 게이트웨이가 ASN 제약을 유지하면서 로테이션하므로 다음 IP도 여전히 AS7922에 있다.
모든 4가지 프로토콜이 동일한 엔드포인트에서 지원된다: HTTP, HTTPS, SOCKS5h, SOCKS5. 사용자 이름과 비밀번호는 고정되어 있으며, 타겟팅은 요청별로 사용자 이름 안에 있다.
전체 플래그 참조와 인증 세부 사항은 게이트웨이 문서에서 모두 다룬다.
알아두면 좋은 일반적인 소비자 ISP ASN
실제 스크래핑에서 가장 자주 등장하는 ASN들에 대한 짧은 참조표다. 이들은 각 통신사의 소비자용 브로드밴드 측을 알리는 ASN이다. 일부 통신사는 호스팅이나 전송용으로 별도의 ASN을 가지고 있는데, 이는 레지덴셜 타겟팅에 원하는 것이 아니다.
| 통신사 | ASN | 국가 |
|---|---|---|
| Comcast Cable | AS7922 | US |
| AT&T Internet Services | AS7018 | US |
| Charter Communications | AS20115 | US |
| Verizon (Fios) | AS701 | US |
| Cox Communications | AS22773 | US |
| T-Mobile US (Home Internet) | AS21928 | US |
| British Telecom (BT) | AS2856 | UK |
| Sky Broadband | AS5607 | UK |
| Virgin Media | AS5089 | UK |
| Vodafone UK | AS5378 | UK |
| Deutsche Telekom | AS3320 | DE |
| Vodafone Germany | AS3209 | DE |
| Free SAS | AS12322 | FR |
| Orange France | AS3215 | FR |
| Telefónica España | AS3352 | ES |
| Telecom Italia | AS3269 | IT |
| KDDI | AS2516 | JP |
| NTT Communications | AS4713 | JP |
| Bell Canada | AS577 | CA |
| Rogers | AS812 | CA |
프로덕션에서 사용하기 전에 bgp.he.net에서 이들 중 어느 것이든 확인할 수 있다. ASN 할당은 안정적이지만, 새로운 통신사를 처음 타겟팅할 때는 30초 정도 확인해보는 것이 좋다.
다른 플래그와 ASN 조합하기
타겟팅 플래그는 자유롭게 조합된다. 실제로 자주 등장하는 조합은 다음과 같다:
country + asn. 가장 흔한 조합이다. 국가와 그 안의 통신사를 모두 고정한다. “이 국가에서 이 통신사”가 필요한 모든 테스트에 유용하다.
country + state + asn. 전국적으로 운영하는 미국 통신사의 경우, “텍사스의 Comcast IP”로 범위를 좁힌다. 모든 ASN이 모든 주에서 서비스를 제공하는 것은 아니므로 과도한 제약은 풀을 0으로 줄일 수 있다.
country + city + asn. 훨씬 더 좁다. 대도시의 대형 통신사에서 가장 잘 작동한다. “토피카의 Cox”에 대한 응답이 작동할 것이라고 기대하지 마라.
country + asn + sid + ttl. 특정 통신사에 고정된 고정 세션. 하나의 연속적인 가입자 세션처럼 보여야 하는 다단계 흐름(로그인, 탐색, 결제)을 위한 패턴이다.
일반적인 규칙: 추가하는 각 플래그는 일치하는 IP 풀을 줄인다. ASN은 국가 수준에서는 대략적인 필터(미국 Comcast의 경우 수백만 개의 IP)이지만 주, 도시를 추가하면 빠르게 정밀해진다. 요청이 502를 반환하면, 가장 흔한 원인은 플래그 조합에 지금 사용 가능한 IP가 없다는 것이다. 가장 구체적인 플래그를 제거하고 다시 시도하라.
마주치게 될 오류와 대처 방법
Shifter 게이트웨이는 프록시 수준 오류에 대해 표준 HTTP 상태 코드를 반환한다. 알아둘 만한 세 가지가 있다:
407 Proxy Authentication Required. 사용자 이름이나 비밀번호가 잘못되었거나, 게이트웨이가 인식하지 못하는 플래그 이름을 사용한 경우다. asn의 철자를 다시 확인하고(as가 아니고, asn_number도 아님) 비밀번호를 확인하라.
502 Bad Gateway. 현재 필터와 일치하는 IP가 없다. ASN이 우리 풀에서 비어있거나(위의 주요 소비자 ASN에서는 드물지만, 니치 ASN에서는 흔함), country + state + city + asn으로 과도하게 제약한 것일 수 있다. 제약을 하나 완화하고 다시 시도하라.
504 Gateway Timeout. 업스트림이 너무 오래 걸린 경우다. 거의 항상 프록시 문제가 아니라 타겟 사이트 문제다. 백오프를 두고 재시도하라.
407에 대해 특별히: 게이트웨이는 알 수 없는 플래그를 조용히 무시하는 대신 인증 오류로 처리한다. 이는 의도적인 것으로, asn-7922a와 같은 오타가 “ASN 제약이 전혀 없음”으로 조용히 바뀌는 것을 방지한다.
ASN 타겟팅은 마법이 아니다
두 가지 중요한 유의 사항이 있는데, 너무 많은 프록시 벤더들이 이 부분을 얼버무리기 때문이다:
ASN은 어느 네트워크가 IP를 알리는지 알려주는 것이지, 사이트가 사용자를 어떻게 분류하는지를 알려주는 것이 아니다. 대부분의 사이트는 BGP 기반 IP 데이터베이스를 통해 ASN을 직접 읽지만, 일부 사이트는 자체 분류 계층(TLS 지문, 헤더 순서, BGP와 일치하지 않는 지리위치 데이터베이스)을 가지고 있으며, AS7922 IP는 Comcast 사용자로 취급받기 위한 필요조건이지만 충분조건은 아니다. 올바른 ASN을 사용하는데도 이상한 동작이 보인다면, ASN 매칭을 탓하기 전에 헤더, TLS 프로필, 지문을 확인하라.
풀 크기는 ASN마다 다르다. 주요 미국 통신사는 거대한 레지덴셜 풀을 가지고 있다. 중견 유럽 ISP와 아시아태평양 통신사는 더 작을 수 있다. 높은 동시성과 특정 소규모 ASN이 둘 다 필요하다면 이를 계획해야 한다. 가격 페이지는 ASN과 관계없이 GB당 동일한 요금이지만, 가용성은 그렇지 않다.
FAQ
스크래핑하려는 웹사이트의 ASN을 어떻게 찾나? 그렇게 하지 않는다. 웹사이트의 ASN은 중요하지 않으며, 방문자의 ASN이 중요하다. 보통 알고 싶은 것은 “이 사이트의 실제 사용자처럼 보이려면 내 프록시 트래픽이 어느 ASN에서 나와야 하는가”이다. 사이트가 미국 스트리밍 서비스라면, 답은 “대형 미국 소비자 ISP ASN 아무거나”이다. 사이트가 특정 통신사를 신경 쓴다면, 보통 그들의 지역 제한 정책을 읽거나 몇 개의 주요 통신사를 테스트해서 어느 것이 통과하는지 확인함으로써 알아낼 수 있다.
ASN 타겟팅을 고정 세션과 함께 사용할 수 있나?
그렇다. asn-<number>와 함께 사용자 이름에 sid-<your-session-id>-ttl-<seconds>를 추가하라. 게이트웨이는 세션 수명 동안 해당 ASN의 IP 하나를 고정하고, TTL이 지나면 동일한 ASN 내에서 로테이션한다.
ASN 타겟팅이 IP가 해당 ISP를 통해 라우팅된다는 것을 보장하나?
IP는 BGP를 통해 해당 ASN에 의해 알려지며, 이는 “누가 이 IP를 소유하는가”에 대한 권위 있는 답이다. 사이트가 통신사별로 분류할 때 읽는 것이 바로 이것이다. ASN 타겟팅이 보장하지 않는 것은 해당 네트워크 가입자의 지연 프로필, 여러분의 기기에서 우리 기기까지 패킷이 이동하는 경로, 통신사 서비스 지역 내에서의 지리적 위치다. 지리를 고정하려면 country, state, city를 사용하라.
ASN 수준 타겟팅은 ISP 타겟팅과 다른가? 실질적으로는 다르지 않다. ASN은 네트워크가 스스로를 식별하고 사이트가 이를 읽는 방식이다. “ISP 타겟팅”은 마케팅 용어이고, “ASN 타겟팅”은 기술적 용어다. 같은 기능이다.
데이터센터나 ISP 고정 타겟팅은 왜 ASN 플래그를 같은 방식으로 사용하지 않나? 데이터센터 프록시는 호스팅 제공업체 ASN(AWS, OVH, Hetzner)에서 오는데, 이는 정확히 안티봇 시스템이 플래그하는 ASN이므로 하나를 선택하는 것은 의미가 없다. ISP 고정 레지덴셜 프록시는 우리가 이미 유지하고 있는 특정 ISP 파트너십에서 오므로, ASN은 구매한 플랜에 암시적으로 포함되어 있다. ASN 타겟팅은 특히 레지덴셜 로테이팅 풀에서 의미가 있는데, 여기서는 어느 국가에서든 가능한 통신사가 많기 때문이다.
ASN 타겟팅을 사용하는 것이 어떤 제공업체의 이용 약관에 위배되나? ASN 타겟팅은 우회 기술이 아니라 라우팅 개념이다. 레지덴셜 프록시에게 특정 통신사의 IP 공간에서 트래픽을 보내달라고 요청하는 것인데, 이는 정확히 레지덴셜 프록시가 하는 일이며 단지 더 정밀할 뿐이다. 모든 웹 스크래핑에 적용되는 것과 동일한 규칙이 적용된다: 로드 베어링인 경우 robots.txt를 존중하고, 타겟을 저하시키지 말고, 속도 제한을 따르고, 자동화된 접근을 금지하는 특정 이용 약관을 위반하지 마라. 우리의 적정 사용 정책이 Shifter에서 허용되는 것에 대한 최종 근거다.
실제로 언제 사용해야 하는가
ASN 타겟팅은 정밀한 도구다. 대부분의 스크래핑은 이것을 필요로 하지 않으며, 필요로 하는 것들은 이것 없이는 제대로 할 수 없다.
게이트웨이 호출에 asn을 추가하기 전에 물어볼 가치가 있는 질문들:
- 타겟 사이트가 방문자의 ISP에 따라 제공하는 것을 바꾸는가, 아니면 국가에 따라서만 바뀌는가?
- 특정 통신사를 대신해서 테스트하고 있거나 통신사별로 구분된 측정을 실행하고 있는가?
- 하나의 ASN에 고정해도 병목이 생기지 않을 만큼 충분한 동시성 예산이 있는가?
이 중 어느 하나에라도 대답이 예라면, ASN 타겟팅이 올바른 도구다. 그렇지 않다면, 국가와 도시가 더 큰 풀을 활용하면서도 동일한 작업을 해낼 것이다.
어느 쪽이든, 새로운 Shifter 레지덴셜 게이트웨이는 모든 플랜에서 ASN 타겟팅을 제공하며, 추가 요금도 없고 별도 상품도 아니다. 플래그를 켜고, 실제 통신사 ASN을 지정하면, 나머지 스크래핑 과정은 그대로 유지된다.