Segmentação por ASN para Proxies Residenciais: Quando Importa e Como Usar

A maioria dos guias de proxies residenciais para em país, estado e cidade. Isso é suficiente para nove em cada dez scrapes. O décimo é onde o targeting por ASN mostra seu valor, e é a diferença entre um proxy residencial que parece um assinante da Comcast em Atlanta e um que apenas parece “um IP dos EUA.”

Este é um guia prático sobre targeting por ASN em proxies residenciais. O que um ASN realmente é, por que ele importa especificamente para o pool residencial, quando você deve recorrer a ele e quando o targeting por país ou cidade já é suficiente, e como usar a flag asn no gateway residencial da Shifter com exemplos concretos.

Se você só for lembrar de uma frase: o targeting por ASN permite escolher a operadora por trás do IP, o que importa sempre que o site que você está fazendo scraping se importa com qual ISP seus visitantes usam.

O que é um ASN, em termos simples

Um Autonomous System Number é o identificador que diz “este bloco de endereços IP pertence a este operador de rede.” Todo ISP, toda operadora móvel, todo provedor de cloud, toda grande empresa tem pelo menos um ASN. A AT&T é AS7018. A Comcast é AS7922. A Charter Communications é AS20115. A Vodafone (a ISP de consumo do Reino Unido) é AS5378. A Deutsche Telekom é AS3320. Esses números são emitidos pelos registros regionais de internet (ARIN, RIPE, APNIC, LACNIC, AFRINIC) e não mudam.

Quando pacotes atravessam a internet pública, o BGP, o protocolo de roteamento, rastreia todo IP até o ASN que o anuncia. Qualquer pessoa pode consultar o ASN por trás de um IP usando ferramentas gratuitas como o BGP toolkit da Hurricane Electric ou o banco de dados da RIPE. Para um IP residencial como 73.158.97.42, a consulta retorna AS7922 (Comcast Cable Communications). Para um IP de datacenter como 52.0.0.1, você obtém AS14618 (Amazon). O ASN é o que informa se você está diante de uma conexão real de consumidor ou de uma fazenda de servidores.

Esse único sinal, a categoria do ASN, é a característica mais confiável que os sistemas anti-bot usam para separar tráfego residencial de tráfego de datacenter. Cloudflare, Akamai, DataDome, PerimeterX, todos eles pontuam o tráfego em parte verificando se o ASN de origem pertence a um provedor de hospedagem conhecido ou a um ISP real. É por isso que um IP verdadeiramente residencial passa onde um IP de datacenter recebe um CAPTCHA, e é por isso que a anatomia de um IP residencial começa com qual rede é a proprietária dele.

Por que o ASN importa especificamente para proxies residenciais

O ponto central de um proxy residencial é que o IP pareça indistinguível de uma conexão real de consumidor. O targeting por país já resolve isso para a maioria dos casos de uso: um IP residencial dos EUA é um IP residencial dos EUA, independentemente de estar na Comcast ou na Verizon. Para “fazer scraping deste catálogo exclusivo dos EUA sem ser bloqueado,” o país é suficiente.

Mas existe um conjunto não trivial de scrapes em que o próprio site lê o ASN e muda o que mostra para você. É aí que o targeting no nível de ASN deixa de ser um mero diferencial.

Roteamento e conteúdo específicos por operadora. Serviços de streaming, redes de anúncios e alguns sites de varejo servem conteúdo diferente, preços diferentes ou inventário diferente com base no ISP do visitante. Uma ferramenta de monitoramento que quer ver “o que um assinante da AT&T no Texas vê nesta página” não consegue simular isso com um IP residencial genérico dos EUA, ela precisa de um IP AS7018 que a página realmente roteie como visitante da AT&T.

Verificação de anúncios por ISP. Anunciantes que rodam campanhas por meio de posicionamentos vinculados a operadoras (as parcerias de TV da T-Mobile, unidades de anúncio distribuídas por ISPs) precisam verificar seu criativo na própria rede da operadora. O anúncio não vai renderizar corretamente, ou não vai renderizar de forma alguma, a partir de qualquer IP que não esteja no ASN daquela operadora.

Contorno de geo-restrição que usa ASN, não apenas país. Alguns sites de notícias e portais governamentais fazem geo-fencing por ISP, não por país, porque querem restringir a “assinantes reais de operadoras domésticas.” Um IP residencial perfeitamente compatível com o país, mas em outra operadora, ainda pode receber um 403 nesses casos.

Testes de qualidade de serviço. Equipes de SaaS testando desempenho a partir da rede de um ISP específico (“como nosso app carrega em uma conexão DSL da Vodafone em Madri”) precisam de tráfego que realmente se origine naquele ASN, caso contrário o perfil de latência, MTU e middlebox não vai corresponder.

Pesquisa antifraude. Equipes de proteção de marca investigando um padrão de fraude frequentemente precisam reproduzir tráfego a partir de um ASN específico para confirmar se o fraudador está operando a partir de uma conexão real de consumidor ou do ASN de um provedor de proxy conhecido.

Nenhum desses casos é teórico, todos eles são a razão pela qual expomos o ASN como uma flag de targeting de primeira classe no gateway residencial, e todos eles são motivos pelos quais um proxy limitado a país é a ferramenta errada para o trabalho.

Quando você não precisa de targeting por ASN

Esta é a parte que a maioria dos artigos pula. O targeting por ASN é uma ferramenta mais precisa do que o de país, e é mais lenta, mais cara em termos de disponibilidade de IP, e oferece um pool menor para trabalhar. Se você não precisa dele, não o use.

Você não precisa de targeting por ASN se:

• O site que você está fazendo scraping se importa com país ou cidade, não com o ISP. A maioria dos e-commerces, a maioria dos scrapes de dados públicos, a maioria do monitoramento de SEO, a maioria da agregação de preços.
• Você está fazendo rotação agressiva em um conjunto grande de sessões. O benefício de fixar um ASN escala com o quanto cada IP individual é usado. Se você está acessando uma página por IP e seguindo adiante, o ASN não vai mudar muita coisa.
• Seu gargalo é concorrência, não pontuação de confiança. Restringir a um único ASN reduz o pool. Se você já está em 80% dos IPs disponíveis do pool do país, você vai se autolimitar antes que o match de ASN traga qualquer benefício.
• Você só quer “residencial”. O pool residencial é residencial por definição. O ASN já é de um ISP de consumo. Você não precisa especificar qual se não se importa com isso.

A forma correta de pensar sobre isso: o país te dá confiança. O ASN te dá uma identidade específica dentro dessa faixa de confiança. A maioria das cargas de trabalho precisa do primeiro, não do segundo.

Como usar a flag asn no gateway da Shifter

O gateway residencial da Shifter aceita flags de targeting dentro do nome de usuário. A flag para ASN é asn. A ordem das flags não importa; você pode combinar asn com country, state, city, sid e ttl em qualquer ordem.

A chamada mais básica, apenas com ASN:

curl -x customer-USERNAME-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.org

Isso retorna um IP residencial cujo ASN anunciante é AS7922, Comcast Cable Communications. Sem restrição de país, sem cidade. Se você quiser restringir a um IP da Comcast em um país específico (a Comcast opera apenas nos EUA, mas o padrão se generaliza), adicione a flag de país:

curl -x customer-USERNAME-country-us-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.org

O mesmo IP pode ficar fixo (sticky) para uma sessão. Adicione um sid (qualquer string que você gerar, o gateway usa como um id de sessão opaco) e um ttl em segundos, e o gateway vai manter o mesmo IP da Comcast pela duração daquele TTL nessa sessão:

curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \
  https://target-site.example/page-1
curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \
  https://target-site.example/page-2

Ambas as requisições vêm do mesmo IP residencial, da mesma fonte com perfil de assinante Comcast, por até 900 segundos. Depois disso o gateway faz a rotação mantendo a restrição de ASN, então o próximo IP ainda estará no AS7922.

Os quatro protocolos são suportados no mesmo endpoint: HTTP, HTTPS, SOCKS5h, SOCKS5. Nome de usuário e senha são constantes; o targeting é definido por requisição no nome de usuário.

Para a referência completa de flags e detalhes de autenticação, a documentação do gateway cobre tudo.

ASNs comuns de ISPs de consumo que vale conhecer

Uma referência curta dos ASNs que aparecem com mais frequência em scrapes reais. Estes são os ASNs anunciantes para o lado de banda larga de consumo de cada operadora; algumas operadoras também têm ASNs separados para hospedagem ou transporte de dados, que não são os que você quer para targeting residencial.

Você pode confirmar qualquer um destes no bgp.he.net antes de usá-los em produção. As atribuições de ASN são estáveis, mas vale uma checagem de 30 segundos na primeira vez que você direcionar uma nova operadora.

Combinando ASN com outras flags

As flags de targeting se combinam livremente. As combinações que aparecem na prática:

country + asn. A mais comum. Fixa tanto o país quanto a operadora dentro dele. Útil para qualquer teste que precise de “esta operadora neste país.”

country + state + asn. Para operadoras dos EUA que operam nacionalmente, isso restringe a “IPs da Comcast no Texas.” Note que nem todo ASN tem cobertura em todo estado, então restringir demais pode reduzir o pool a zero.

country + city + asn. Ainda mais restrito. Funciona melhor com grandes operadoras em grandes cidades. Não espere uma resposta funcional para “Cox em Topeka.”

country + asn + sid + ttl. Sessão sticky fixada em uma operadora específica. O padrão para qualquer fluxo de múltiplas etapas (login, navegação, checkout) que precisa parecer uma sessão contínua de um único assinante.

A regra geral: cada flag adicionada reduz o pool de IPs correspondentes. O ASN é um filtro grosseiro no nível de país (milhões de IPs para a Comcast nos EUA), mas se torna preciso rapidamente ao adicionar estado, depois cidade. Se uma requisição retornar 502, a causa mais comum é que a combinação de flags não tem IPs disponíveis no momento. Remova a flag mais específica e tente novamente.

Erros que você vai ver e o que fazer sobre eles

O gateway da Shifter retorna códigos de status HTTP padrão para erros no nível do proxy. Três valem a pena conhecer:

407 Proxy Authentication Required. Seu nome de usuário ou senha está errado, ou você usou um nome de flag que o gateway não reconhece. Reverifique a grafia de asn (não as, não asn_number) e confirme a senha.

502 Bad Gateway. Nenhum IP corresponde ao seu filtro neste momento. Ou o ASN está vazio em nosso pool (raro para os principais ASNs de consumo listados acima, comum para os mais específicos), ou você restringiu demais com country + state + city + asn. Relaxe uma restrição e tente novamente.

504 Gateway Timeout. O upstream demorou demais. Quase sempre é um problema do site de destino, não do proxy. Tente novamente com backoff.

Especificamente para 407s: o gateway trata flags desconhecidas como erros de autenticação em vez de simplesmente ignorá-las. Isso é deliberado, evita que um erro de digitação como asn-7922a silenciosamente se transforme em “nenhuma restrição de ASN.”

O targeting por ASN não é magia

Duas ressalvas importantes, porque muitos fornecedores de proxy evitam falar sobre isso:

O ASN informa qual rede anuncia o IP, não como o site classifica o usuário. A maioria dos sites lê o ASN diretamente via um banco de dados de IP baseado em BGP, mas alguns sites têm suas próprias camadas de classificação (fingerprint TLS, ordem de cabeçalhos, bancos de dados de geolocalização que divergem do BGP) e um IP AS7922 é necessário, mas não suficiente, para ser tratado como usuário da Comcast. Se você está vendo comportamento estranho com o ASN correto, verifique seus cabeçalhos, seu perfil TLS e seu fingerprint antes de culpar o match de ASN.

O tamanho do pool varia por ASN. Grandes operadoras dos EUA têm pools residenciais enormes. ISPs europeus de nível médio e operadoras da Ásia-Pacífico podem ser menores. Se você precisa tanto de alta concorrência quanto de um ASN específico e pequeno, planeje para isso; a página de preços tem a mesma taxa por GB independentemente do ASN, mas a disponibilidade não é a mesma.

Perguntas frequentes

Como eu descubro o ASN de um site que quero fazer scraping? Você não descobre, o ASN do site não importa, o que importa é o ASN do visitante. O que você geralmente quer saber é “de qual ASN meu tráfego de proxy deveria vir para parecer um usuário real deste site?” Se o site é um serviço de streaming dos EUA, a resposta é “qualquer ASN de um grande ISP de consumo dos EUA.” Se o site se importa especificamente com qual operadora, geralmente você pode descobrir lendo a política de geo-fencing dele ou testando algumas operadoras principais e vendo quais passam.

Posso usar targeting por ASN com sessões sticky? Sim. Adicione sid-<seu-id-de-sessão>-ttl-<segundos> ao nome de usuário junto com asn-<número>. O gateway fixa um IP naquele ASN durante a vida da sessão, e depois faz rotação dentro do mesmo ASN após o TTL.

O targeting por ASN garante que o IP roteie por aquele ISP? O IP é anunciado por aquele ASN via BGP, que é a resposta autoritativa para “quem é o proprietário deste IP.” É isso que os sites leem quando classificam por operadora. O que o targeting por ASN não garante é o perfil de latência de um assinante naquela rede, a rota que os pacotes fazem da sua máquina até a nossa, ou a localização geográfica dentro da área de cobertura da operadora. Use country, state ou city para fixar a geografia.

O targeting no nível de ASN é diferente do targeting por ISP? Na prática, não, ASN é como as redes se identificam e como os sites as leem. “Targeting por ISP” é o termo de marketing, “targeting por ASN” é o técnico. É a mesma funcionalidade.

Por que o targeting de datacenter ou ISP estático não usa flags de ASN da mesma forma? Proxies de datacenter vêm de ASNs de provedores de hospedagem (AWS, OVH, Hetzner), que são exatamente os ASNs que os sistemas anti-bot sinalizam, então não há sentido em escolher um. Proxies residenciais ISP estáticos vêm de uma parceria específica com um ISP que já mantemos, então o ASN já está implícito no plano que você comprou. O targeting por ASN é significativo especificamente para o pool residencial rotativo, onde existem muitas operadoras possíveis em qualquer país.

Usar targeting por ASN viola os termos de serviço de algum provedor? O targeting por ASN é um conceito de roteamento, não uma técnica de contorno. Você está pedindo a um proxy residencial que envie tráfego a partir do espaço de IP de uma operadora específica, que é exatamente o que proxies residenciais fazem, só que com mais precisão. Aplicam-se as mesmas regras que se aplicam a qualquer web scraping: respeite o robots.txt quando ele for determinante, não degrade o destino, siga limites de taxa, e não viole os termos de serviço específicos que proíbem acesso automatizado. Nossa política de uso aceitável é a fonte de verdade sobre o que é permitido na Shifter.

Quando realmente recorrer a ele

O targeting por ASN é uma ferramenta de precisão. A maioria dos scrapes não precisa dele; os que precisam realmente não conseguem se virar sem ele.

As perguntas que vale a pena fazer antes de adicionar asn às suas chamadas de gateway:

1. O site de destino muda o que serve com base no ISP do visitante, ou apenas com base no país?
2. Estou testando em nome de uma operadora específica ou fazendo medição segmentada por operadora?
3. Tenho orçamento de concorrência suficiente para que fixar um único ASN não me crie um gargalo?

Se a resposta a qualquer uma dessas perguntas for sim, o targeting por ASN é a ferramenta certa. Se não, país e cidade vão fazer o mesmo trabalho com um pool maior para explorar.

De qualquer forma, o novo gateway residencial da Shifter traz targeting por ASN em todos os planos, sem custo adicional, sem produto separado. Ative a flag, aponte para um ASN real de operadora, e o resto do seu scrape permanece o mesmo.