Você configura o gateway para rotacionar a cada requisição, executa um job e confere o log. O mesmo endereço residencial aparece três vezes em uma hora. No dia seguinte, muitos dos endereços de ontem voltam. A rotação está com defeito ou é assim que os pools funcionam?
Parte disso é como os pools funcionam, e parte é um sinal que vale a pena ler. Se você usa uma rede de proxies residenciais rotativos, saber distinguir um caso do outro diz muito sobre o pool que está por trás do gateway. Este guia explica por que os endereços voltam, as duas métricas que o Atlas usa para medir isso e como você mesmo pode verificar um provedor.
Por que as repetições acontecem
Um proxy rotativo entrega uma saída diferente a cada requisição ou a cada intervalo, mas sorteia a partir de um conjunto finito de endereços que estão online no seu país naquele momento. Sorteios aleatórios em um conjunto finito se repetem mais cedo do que a intuição sugere.
Um exemplo ilustrativo: suponha que mil endereços estejam online no país de destino e que o gateway escolha um ao acaso a cada requisição. Com apenas cerca de quarenta requisições, a chance de você já ter visto algum endereço duas vezes é maior que 50%. É a mesma aritmética do problema do aniversário, e isso significa que uma repetição isolada não prova nada.
Além disso, os gateways não escolhem ao acaso. Eles tendem a favorecer endereços rápidos e que permaneceram online, o que concentra o tráfego em um núcleo estável. Uma segmentação mais estreita, por cidade, por exemplo, reduz ainda mais o conjunto.
Repetições no mesmo dia e entre dias
Dois tipos de repetição parecem iguais em um log, mas significam coisas diferentes.
Dentro de uma sessão ou de um dia, as repetições refletem principalmente quantos endereços estão online na sua fatia e o quanto você a está pressionando. Se você envia mais requisições por hora do que a fatia consegue absorver, as repetições aumentam. Isso é capacidade, e varia conforme o país e o horário.
Entre dias, as repetições dizem algo sobre o próprio pool. Endereços residenciais mudam naturalmente: dispositivos ficam offline, famílias reiniciam roteadores, provedores de internet reatribuem endereços. Por isso, um pool residencial grande e genuíno parece bem diferente de um dia para o outro. Se o mesmo conjunto de endereços recebe você toda manhã, o pool é menor do que parece, ou o gateway depende muito de um grupo fixo de saídas sempre ativas.
Esse segundo padrão importa porque os sites de destino mantêm reputação por endereço. Endereços que acessam o mesmo site todos os dias constroem um histórico ali, e é o histórico que leva um endereço a sofrer limitação de taxa ou bloqueio.
O que o churn do pool mede
O churn do pool é a parcela de saídas em uma janela que nunca apareceram em nenhuma janela anterior. Ele responde à pergunta: quanto do que recebi hoje é realmente novo?
- Churn alto significa que endereços novos continuam chegando. Para cargas de trabalho rotativas, geralmente é o que você quer.
- Churn baixo significa que o pool está reciclando o que você já viu.
O churn precisa de histórico para fazer sentido. Na primeira janela já medida, todo endereço é novo por definição, então a métrica só se torna informativa depois que uma rede é acompanhada por algum tempo.
O churn também tem um custo em sessões longas. Endereços que se renovam rápido são endereços que somem no meio da sessão. Se o seu trabalho exige um mesmo endereço por vários minutos, olhe por quanto tempo as sessões fixas realmente se mantêm, uma métrica à parte, em vez de ler o churn alto como algo puramente bom.
O que os IPs repetidos medem
IPs repetidos é a parcela de saídas distintas, em uma janela de 7 dias ou de 30 dias, que apareceram em dois ou mais dias. Ela não é exibida para uma janela de 24 horas, que não pode conter uma repetição de vários dias.
Um pool residencial rotativo deveria manter esse valor baixo. Um valor alto indica um inventário que se comporta como endereços estáticos: as mesmas saídas, dia após dia, seja o que for que a página do produto diga sobre rotação.
Para entender por que os pools residenciais se renovam, veja como os provedores montam e atualizam pools de IPs residenciais.
Lendo as duas métricas em conjunto
Nenhuma das duas basta sozinha. Lidas em conjunto, elas descrevem o formato de um pool:
- Churn alto, poucas repetições. Um pool grande e vivo. A maior parte do que você recebe é nova, e pouco permanece por dias.
- Churn baixo, muitas repetições. Um pool pequeno e reciclado. Você continua encontrando os mesmos endereços, e poucos novos chegam.
- Churn alto, muitas repetições. Um núcleo estável com uma borda em constante renovação. O gateway envia boa parte do seu tráfego para um grupo fixo enquanto endereços novos circulam pelas bordas.
Uma terceira métrica ajuda: requisições por IP de saída, o número de requisições consecutivas que um endereço atendeu antes de o gateway trocar você de saída. Ela separa um produto que realmente rotaciona de outro que se comporta discretamente como uma sessão fixa, seja qual for o rótulo. O artigo proxies residenciais fixos vs rotativos explica quando você quer cada um.
Como o Atlas mede
O Atlas registra o endereço de saída que cada site de destino viu em cada requisição, em intervalos de cinco minutos, para todas as redes, no mesmo cronograma. As configurações de sessão e de rotação ficam nos padrões de cada provedor, então as métricas descrevem o produto como ele é vendido.
A partir desse fluxo, ele calcula o churn em relação a todas as janelas anteriores e as repetições em 7 e 30 dias. Como todas as redes recebem as mesmas requisições nos mesmos horários, uma diferença de churn ou de repetições reflete o pool, não o teste. As definições exatas de churn e de IPs repetidos estão na metodologia, e as contagens de IPs únicos de cada rede testada mostram a escala a que cada métrica se aplica.
Fazendo você mesmo
Você pode medir as duas métricas de qualquer provedor usando apenas um log:
- Envie requisições rotativas a um endpoint que devolva o endereço que ele viu. Registre o endereço e um carimbo de data e hora de cada requisição.
- Mantenha fixos a taxa e o país, e execute nos mesmos horários todos os dias.
- No fim de cada dia, monte o conjunto de endereços distintos daquele dia.
- Churn: conte quantos dos endereços de hoje não aparecem no conjunto de nenhum dia anterior e divida pelo total de hoje.
- Repetições: depois de uma semana, conte os endereços que aparecem em dois ou mais dias e divida por todos os endereços distintos da semana.
- Execute dois provedores lado a lado na mesma janela se quiser compará-los.
Uma semana de logs da sua própria carga de trabalho convence mais do que qualquer promessa de rotação, e mostra exatamente como o pool vai se comportar nos sites que importam para você.