“Rotating residential proxies” é uma expressão que todo mundo nesse espaço usa, mas a mecânica por trás dela raramente é explicada. De onde vêm os IPs? Por que seu IP de saída às vezes muda quando você não pediu isso? O que “rotating” realmente controla, e por que um IP “sticky” nunca é exatamente permanente? Entender o funcionamento interno responde a todas essas perguntas, e é a diferença entre lutar contra o comportamento do seu proxy e usá-lo de propósito.
Este é o mecanismo por trás da escolha entre sticky e rotating e da anatomia de um IP residencial. Aqui está o que realmente acontece.
Você se conecta a um gateway, não a IPs
A primeira coisa a entender é que você nunca se conecta a IPs residenciais individuais, e nunca gerencia uma lista deles. Você se conecta a um único endpoint de gateway, p.shifter.io:443, e o gateway direciona sua requisição para fora através de um dos milhões de IPs residenciais no pool. Tudo sobre qual IP você recebe é expresso no nome de usuário com o qual você se autentica:
customer-USERNAME-country-us-sid-abc123-ttl-600O gateway lê esse nome de usuário, filtra o pool para os IPs que correspondem ao seu direcionamento (aqui, Estados Unidos), escolhe um, e envia sua requisição através dele. Você fala com um único endereço; o pool fica por trás dele. É por isso que a rotação parece algo sem esforço: o gateway faz a atribuição, e você apenas descreve o que quer.
O pool está vivo, então a rotação é o padrão
Um pool residencial não é uma lista fixa. Ele é formado por conexões domésticas reais que aparecem e desaparecem conforme os dispositivos ficam online e offline ao longo do dia, então o conjunto de IPs de saída utilizáveis está constantemente mudando. Quando você abre uma conexão sem pedir uma sessão específica, o gateway simplesmente atribui um IP de saída novo a partir do que estiver disponível no momento. É isso que “rotating” significa em sua forma mais básica: uma nova conexão recebe um novo IP.
Então a rotação não é um modo especial que você ativa. É o comportamento natural de um pool vivo quando você não diz ao gateway para reter um IP para você. Omita os controles de sessão e cada nova conexão gira.
Você controla a rotação com um token de sessão e um TTL
Dois controles no nome de usuário decidem se você gira ou permanece fixo, e eles são toda a história:
- Um id de sessão (
sid) diz ao gateway “continue me enviando através do mesmo IP de saída sempre que eu apresentar este token.” Isso é uma sessão sticky. - Um TTL (
ttl) informa por quanto tempo manter esse IP, por exemplo 600 segundos.
Defina os dois e você obtém um IP estável durante essa janela. Omita-os e você gira a cada conexão. Fundamentalmente, essa é uma escolha que você faz por requisição ao mudar o nome de usuário, não um produto ou endpoint diferente; o mesmo gateway faz as duas coisas. É por isso que sticky vs rotating é uma decisão que você toma por unidade de trabalho, não um plano que você compra.
Por que um IP sticky nunca é verdadeiramente permanente: CGNAT e a rotatividade de dispositivos
Aqui está a parte honesta que os proxies de datacenter não precisam enfrentar. Um IP de saída residencial pertence a uma conexão doméstica real que você não controla, e conexões domésticas não são estáveis da mesma forma que um servidor alugado. Duas forças em particular as mantêm em movimento.
A maioria das conexões domésticas hoje está atrás de CGNAT, NAT de nível de operadora, onde o ISP compartilha um endereço IPv4 público entre muitos assinantes e pode reatribuí-lo. O IP público de um assinante pode mudar em uma renovação de concessão ou em uma reatribuição de NAT, sem que você ou o gateway tenham feito nada. E o próprio dispositivo pode simplesmente ficar offline, alguém fecha um laptop, um celular perde o Wi-Fi, e esse caminho de saída desaparece.
É por isso que uma sessão sticky é best-effort, não uma garantia. O gateway mantém seu IP pelo máximo de tempo possível dentro do TTL, mas se a conexão doméstica subjacente mudar ou cair, você recebe um novo IP antes que o TTL termine. A rotação, em outras palavras, é em parte um recurso e em parte um reflexo da realidade da rede: IPs residenciais se movem porque residências reais se movem, e qualquer sistema construído sobre eles precisa esperar por isso.
Por que seu IP mudou quando você não pediu
Juntando essas peças, a misteriosa mudança de IP no meio da execução deixa de ser misteriosa. É quase sempre um destes casos:
- Nenhum token de sessão, então cada conexão gira por design. Essa é a surpresa mais comum para quem presumiu um IP por execução.
- Uma sessão sticky cujo TTL expirou, então o gateway liberou o IP e atribuiu um novo.
- Uma sessão sticky cujo IP doméstico subjacente caiu (dispositivo offline ou reatribuição de CGNAT) antes do TTL, forçando uma mudança antecipada.
- Uma nova conexão que seu cliente abriu em vez de reutilizar uma mantida ativa. Se seu cliente HTTP não reutiliza sua conexão, cada requisição pode parecer um evento de rotação novo a menos que o
sida fixe, o que é mais uma razão pela qual os guias de linguagem enfatizam reutilizar o cliente.
O que isso significa para como você faz scraping
As conclusões práticas seguem diretamente da mecânica.
Combine a rotação com a tarefa. Gire, omitindo a sessão, quando quiser anonimato e distribuir a carga entre muitos IPs. Use sticky, com sid e ttl, para qualquer coisa que precise parecer um único visitante coerente: uma sequência paginada de múltiplas páginas, uma sessão logada, ou qualquer fluxo de múltiplas etapas. Mapear o trabalho para identidades dessa forma é o padrão de balanceamento de carga.
Projete para um IP sticky que ainda pode mudar. Como o sticky é best-effort, uma sessão longa deve conseguir sobreviver à mudança do IP de saída no meio do caminho, restabelecendo cookies ou estado se isso acontecer, em vez de assumir que o IP é fixo durante toda a execução.
O direcionamento geográfico gira dentro de um subconjunto. Quando você direciona para um país, cidade ou ASN, o gateway filtra o pool para esse subconjunto e gira dentro dele. “Rotating US residential” significa um IP dos EUA novo por conexão; o direcionamento por ASN ou o direcionamento em nível de cidade apenas restringe o subconjunto pelo qual a rotação acontece.
A qualidade do pool determina o que a rotação entrega. A rotação só é tão boa quanto o pool por trás dela. Um pool grande e limpo significa que cada novo IP é bom; um pool pequeno ou sujo significa que a rotação apenas te faz circular por endereços sinalizados, e sua taxa de sucesso reflete isso. É por isso que reputação de IP e o tamanho do pool importam mais do que o mecanismo de rotação em si.
Conclusão
A rotação de proxy residencial não é mágica nem mistério. Um gateway atribui seu IP de saída a partir de um pool vivo de conexões domésticas reais, você controla se ele gira ou permanece sticky com um token de sessão e um TTL no nome de usuário, e tudo isso é limitado pela realidade de que IPs domésticos vêm e vão por causa de CGNAT e da rotatividade de dispositivos. Gire omitindo a sessão; permaneça sticky definindo sid e ttl, mas trate o sticky como best-effort e construa pensando na possibilidade de o IP mudar. Combine a escolha com a tarefa, e tudo que vem depois, sessões, logins, paginação, geolocalização, fica mais fácil.
O que torna a rotação realmente útil é o pool por trás dela. Nossos proxies residenciais rodam sobre um pool grande e limpo, de modo que cada IP de saída que o gateway te entrega, rotativo ou sticky, vale a pena usar, e o preço por GB significa que você paga pelas requisições que faz, não pelo número de IPs pelos quais você circula.