Um teste de detecção de proxy é qualquer coisa que tente responder a uma pergunta sobre um visitante: essa conexão está passando por um proxy? Os sites executam esses testes em silêncio a cada requisição, e as ferramentas de consulta de IP executam uma versão simplificada quando você cola um endereço. Se você está comprando proxies residenciais, o que você quer saber é como as saídas de um provedor se saem nas versões reais, não nas simplificadas.
Este guia cobre os sinais que os sites realmente usam, o que uma verificação online do tipo “estou usando um proxy?” pode e não pode dizer, e um teste que você pode executar em qualquer provedor em uma tarde. O foco é o IP e a conexão. Para os erros de configuração do seu lado que fazem bons IPs serem sinalizados, veja os erros comuns com proxies residenciais que disparam a detecção.
Como os sites sinalizam IPs de proxy
A detecção funciona em camadas. Nenhuma camada decide sozinha; cada uma contribui para uma estimativa de risco.
- O endereço em si. O site, ou um fornecedor de inteligência de IP que ele paga, consulta quem é o dono do endereço. A faixa de uma empresa de hospedagem é o sinal mais fácil que existe. A faixa de um ISP de consumidores passa por essa camada.
- Saídas de proxy conhecidas. Os fornecedores montam listas de endereços que eles viram atuando como saídas de proxy, a partir de honeypots, parceiros de tráfego e testes próprios. As saídas residenciais podem cair nessas listas, e quantas caem varia muito entre fornecedores.
- Reputação. Abusos passados do endereço: spam, varredura, credential stuffing. Como as saídas residenciais são compartilhadas, a reputação acompanha o endereço, não você.
- A conexão. Cabeçalhos que um proxy adiciona, como Via ou X-Forwarded-For, um fingerprint TLS que corresponde a uma biblioteca cliente em vez de um navegador, consultas DNS que resolvem em um país diferente do IP, ou uma rota IPv6 que contorna o proxy.
- Comportamento. Taxa de requisições, temporização, padrões de navegação e quantas identidades um mesmo endereço carrega. Essa camada pega IPs limpos usados de forma ruim.
- Consistência. Se a localização do IP concorda com o fuso horário, o idioma e outros sinais do navegador.
Um bom pool residencial deve passar pela primeira camada quase sempre e pela camada da conexão todas as vezes. O restante depende de como o pool é usado e do quanto ele é compartilhado.
O que uma verificação online de proxy diz a você
Ao colar um endereço em um site de verificação de proxy, você recebe a visão de um único fornecedor sobre as duas ou três primeiras camadas: dono, tipo de conexão, sinalização de proxy e, talvez, uma pontuação de risco. Isso é útil, dentro de certos limites:
- É um único fornecedor. Os serviços discordam, às vezes de forma radical, sobre um endereço residencial ser ou não um proxy. Se você passar as mesmas saídas residenciais por dois serviços de detecção, é comum que um sinalize uma grande parte delas e o outro quase nenhuma.
- É um único endereço. Um pool entrega milhares. Uma consulta não diz nada sobre quanto do pool seria sinalizado.
- Não é o seu alvo. O site que importa para você pode usar outro fornecedor, um modelo próprio ou nada.
- Testa o IP, não a conexão. A maioria das ferramentas de consulta nunca vê seus cabeçalhos, o handshake TLS ou o caminho do DNS.
Trate uma ferramenta de consulta como uma triagem rápida para endereços de hospedagem, não como um veredito.
O alvo é o teste real
O único teste de detecção de proxy que importa é o executado pelo site de onde você precisa extrair dados, e a única forma de ver o resultado dele é enviar requisições reais e classificar o que volta. Uma página de bloqueio é uma detecção. Um CAPTCHA também é, e uma página de resultados vazia servida com um código de status normal também.
É assim que o Atlas aborda o assunto. Cada rede recebe as mesmas requisições para o mesmo conjunto de alvos, avaliado site a site, e uma requisição só conta como sucesso se o conteúdo for real; desafios contam como falhas (como os resultados são classificados). Alvos difíceis separam redes que os fáceis não conseguem distinguir.
Do lado da autenticidade, o Atlas conta a parcela de cada pool que resolve para redes de hospedagem e verifica a própria conexão: DNS, WebRTC, cabeçalhos de proxy, fingerprint TLS e fallback para IPv6, verificados pelo lado do alvo. Essas são as camadas que um provedor controla. A reputação e o comportamento dependem em parte de outros clientes e em parte de você.
Como testar os IPs de um provedor
Um teste que informa alguma coisa tem três propriedades: muitas saídas, mais de um sinal e seus alvos reais.
- Colete saídas. Envie algumas centenas de requisições pelo provedor para um endpoint que devolve o IP e os cabeçalhos. Registre cada saída distinta.
- Faça a triagem dos endereços. Consulte cada saída em dois ou três serviços de inteligência de IP. Conte a parcela classificada como hospedagem e a parcela que cada fornecedor sinaliza como proxy.
- Verifique a conexão. Confirme que nenhum cabeçalho de proxy chega ao endpoint de eco, que o DNS resolve no país da saída e que nenhum caminho de IPv6 ou WebRTC revela o seu próprio endereço.
- Acesse seus alvos. Envie uma amostra da sua carga de trabalho real. Classifique cada resposta como sucesso, bloqueio, desafio ou bloqueio suave pelo conteúdo, não pelo código de status.
- Repita. Execute tudo de novo alguns dias depois. Os pools mudam e a reputação oscila.
Como ler os resultados
- Parcela alta de hospedagem: o pool não é o que é vendido. Esse é o achado mais grave, e vale para qualquer fornecedor que você use.
- Muitas sinalizações de proxy, parcela baixa de hospedagem: normal para saídas residenciais que um bom fornecedor já mapeou. Olhe os resultados nos alvos antes de se preocupar.
- Vazamentos na conexão: um problema de configuração do provedor ou do cliente. Corrija isso antes de testar qualquer outra coisa, porque distorce todos os outros resultados.
- Consultas limpas, alvos falhando: verifique primeiro seus próprios padrões de requisição e seu fingerprint, depois como o provedor se comporta sob carga.
- Dois provedores sinalizados nos mesmos endereços: eles podem compartilhar inventário. O guia de sobreposição de pools de proxy explica como verificar.
Fazendo você mesmo
Uma lista de verificação curta para qualquer período de teste:
- Pelo menos algumas centenas de saídas distintas, não um punhado.
- Dois ou mais fornecedores de consulta, comparados lado a lado.
- Verificações com endpoint de eco para cabeçalhos, DNS e IPv6.
- Seus alvos reais, com páginas de desafio contadas como falhas.
- Uma segunda execução em outro dia.
Se um provedor vai bem nas consultas e mal nos seus alvos, os alvos têm a palavra final. Os testes de detecção são um meio para um fim, e o fim são páginas que carregam.