Sessões sticky são vendidas por duração. Um provedor oferece sessões de 10, 30 ou 60 minutos, e o comprador escolhe a que cobre o login, o checkout ou o crawl mais longo que ele faz. O número na página do plano parece uma promessa. Não é.
A duração anunciada de uma sessão sticky é o tempo máximo que ela pode durar. Quanto tempo ela realmente se mantém depende do dispositivo por trás da saída, e em proxies residenciais esse dispositivo pertence a uma pessoa real. Este guia explica por que as sessões terminam antes do prazo, como medir isso e como o Atlas reporta o resultado.
O que é uma sessão sticky
Um proxy residencial rotativo entrega um novo IP de saída a cada requisição, ou a cada rajada curta. Uma sessão sticky pede ao gateway que continue enviando suas requisições pela mesma saída durante um tempo definido, normalmente colocando um ID de sessão no nome de usuário do proxy. Se você precisar relembrar o mecanismo em si, o verbete do glossário sobre sticky session o explica.
As sessões sticky existem porque alguns alvos vinculam estado a um endereço. Um login, um carrinho de compras, um formulário de várias páginas ou uma busca paginada podem quebrar ou disparar uma verificação de segurança se o IP mudar no meio do caminho. Para esses trabalhos, a pergunta não é “quanto dura a sessão?”, e sim “com que frequência ela dura o tempo de que eu preciso?”.
Por que a duração anunciada é um teto
O gateway só consegue manter você em uma saída enquanto essa saída existir. Uma saída residencial é um dispositivo em uma conexão doméstica ou móvel, e esses dispositivos desaparecem o tempo todo:
- O dono desliga o dispositivo, fecha o app que compartilha sua banda ou coloca o aparelho em repouso.
- Um celular passa do Wi-Fi para a rede celular, ou de uma rede para outra.
- O roteador de casa reinicia, ou o provedor de internet entrega à residência um novo endereço.
- O gateway decide que a saída está sobrecarregada ou instável e move você para outra.
Nada disso leva em conta o temporizador da sua sessão. Uma sessão de 30 minutos em um dispositivo que fica offline após 8 minutos termina aos 8 minutos. O provedor não está mentindo sobre a duração; ele está citando a configuração, e a configuração é um limite superior.
É por isso que a página de metodologia diz sem rodeios: os TTLs anunciados são tetos, e a diferença entre o teto e o que você recebe quase nunca é divulgada.
As duas formas como uma sessão termina
Quando uma saída desaparece, o gateway faz uma de duas coisas.
Ele falha de forma visível. Sua próxima requisição retorna um erro de proxy, uma conexão reiniciada ou um timeout. É incômodo, mas seu código sabe que algo aconteceu e pode iniciar uma nova sessão.
Ele troca em silêncio. O gateway roteia sua próxima requisição por uma saída diferente e segue em frente, com o mesmo ID de sessão e sem nenhum erro. Seu código acha que continua no mesmo endereço. O alvo vê um novo IP no meio da sessão, e seu login é encerrado, seu carrinho é esvaziado ou sua conta é sinalizada.
A troca silenciosa é o caso mais prejudicial, porque nada na resposta avisa que ela aconteceu. A única forma de detectá-la é verificar você mesmo o IP de saída, a cada requisição, comparando com aquele com que a sessão começou.
Taxa de retenção: o número que importa
Como a duração é um teto, o número que descreve um produto sticky é sua taxa de retenção: a parcela das sessões que mantiveram o mesmo IP de saída durante toda a duração anunciada.
Digamos que você abra 100 sessões de 30 minutos cada. Se 85 mantêm o IP inicial pelos 30 minutos inteiros, a taxa de retenção é de 85%. As outras 15 terminaram antes, seja falhando de forma visível ou trocando em silêncio. Dois provedores com a mesma duração anunciada podem ter taxas de retenção muito diferentes, e a taxa de retenção é a que prevê quantas das suas sessões você terá de reiniciar.
O Atlas testa os produtos residenciais sticky com a mesma bateria de testes usada nos rotativos, mais a verificação de TTL: ele mantém cada sessão durante toda a duração anunciada e registra se o IP de saída visto pelo alvo sobreviveu. As configurações de sessão ficam nos padrões de cada provedor, então o número descreve o produto como ele é vendido. O resultado aparece como “Sessões sticky mantidas” na comparação lado a lado. Ele vem da avaliação completa mais recente, por isso aparece igual em qualquer janela de tempo que você escolher, e mostra N/A para uma rede em que ainda não foi medido, em vez de contá-lo como zero.
Como ler uma taxa de retenção
Uma taxa de retenção precisa de um pouco de contexto para ser útil.
Ela depende da duração que você pede. Sessões mais longas dão mais tempo para os dispositivos caírem, então a taxa de retenção em 60 minutos costuma ser menor do que em 10 minutos na mesma rede. Compare coisas equivalentes.
Curto costuma ser melhor que longo. Se o seu trabalho leva 5 minutos, peça uma sessão não muito maior que isso. Uma sessão longa não traz nenhuma vantagem depois que o trabalho termina, e mantém você em uma saída que pode estar ficando menos confiável.
A localização reduz o pool. Uma sessão fixada em uma cidade pequena tem menos dispositivos de onde partir, e o gateway tem menos opções quando um deles cai. Espere que a taxa de retenção varie de país para país.
Ela não é o mesmo que o comportamento de rotação. O Atlas também reporta requisições por IP de saída para produtos rotativos, o que mostra por quanto tempo uma saída “rotativa” realmente permanece no mesmo lugar. Essa é uma pergunta à parte: se a rotação acontece quando deveria, e não se uma sessão se mantém quando deveria.
Como projetar trabalhos que sobrevivem a términos antecipados
Mesmo uma taxa de retenção alta significa que algumas sessões terminam antes do prazo, então construa seu trabalho já contando com isso:
- Verifique o IP de saída a cada requisição. Compare com o IP com que a sessão começou. Uma mudança significa que a sessão terminou, qualquer que seja o código de status.
- Mantenha curto o trabalho de cada sessão. Divida fluxos longos em etapas que possam ser retomadas. Quanto menor a etapa, menos custa uma sessão que cai.
- Salve o estado ao longo do caminho. Cookies, tokens e a página atual devem sobreviver à sessão, para que uma nova sessão possa continuar de onde a anterior parou.
- Peça a duração de que você precisa, não o máximo. Isso mantém você em saídas mais recentes e torna sua taxa de retenção maior na prática.
- Reinicie de forma limpa. Quando uma sessão terminar, abra um novo ID de sessão em vez de tentar de novo no antigo.
Para trabalhos com muitos logins, como fazer scraping de sites que exigem login aprofunda a fixação de contas em sessões e a manutenção de cookies ativos. Se você ainda está decidindo se um trabalho precisa mesmo de sessões sticky, proxies residenciais sticky vs rotativos explica o trade-off.
Testando você mesmo as sessões sticky de um provedor
- Abra pelo menos 50 sessões sticky com a duração que você pretende usar, distribuídas ao longo de um dia para pegar horários de pico e de baixa demanda.
- Em cada sessão, envie uma requisição leve a cada minuto para um endpoint que devolva o IP que ele viu.
- Registre o IP inicial e o minuto em que o IP devolvido mudou pela primeira vez ou em que uma requisição falhou pela primeira vez.
- Conte as sessões que mantiveram o IP inicial durante toda a duração. Essa parcela é a sua taxa de retenção.
- Faça um gráfico de quantas sessões sobreviveram a cada minuto. O formato da curva mostra se as sessões falham de forma constante ou despencam em um ponto específico.
Depois, compare seu resultado com o número do Atlas para o mesmo provedor. Se eles divergirem, o motivo costuma ser a duração, a localização ou o horário em que você testou.