A forma como o mercado de proxies costuma ser apresentada é como dois produtos. Datacenter, para velocidade bruta e baixo custo. Residencial, para não bloqueio e autenticidade de usuário real. Escolha um com base na sua carga de trabalho.
Essa forma de apresentar deixa de fora uma terceira categoria que, na minha experiência trabalhando com clientes em cerca de mil implantações, é a resposta certa com mais frequência do que as outras duas. Os proxies ISP ficam entre o datacenter e o residencial rotativo, e resolvem uma classe de problema que nenhum dos outros resolve bem.
Este post defende usar mais os proxies ISP, e também defende usá-los em menos lugares do que as pessoas às vezes tentam.
O que os proxies ISP realmente são
A definição mecânica: um proxy ISP é um endereço IP emitido por um ISP residencial real (Comcast, AT&T, BT, Deutsche Telekom, etc.), mas hospedado em um datacenter e mantido de forma estática pelo operador do proxy. O bloco de IP upstream pertence a um ISP doméstico. A máquina real da qual o tráfego sai está em um rack em algum lugar.
Isso parece um híbrido estranho, e realmente é. O motivo de existir é que as defesas anti-bot dos sites-alvo tomam decisões em parte com base no ASN upstream, a rede à qual o bloco de IP foi atribuído. Um bloco de IP atribuído à Comcast parece “residências” para o provedor de geolocalização e reputação de um site. Um bloco de IP atribuído a uma empresa de hospedagem parece “datacenter, suspeito.”
A realidade da hospedagem não aparece na consulta. O ASN, sim.
O que isso proporciona, concretamente
Três propriedades que o datacenter puro não oferece:
Reputação de rede. O IP está em uma faixa residencial, então os bancos de dados de reputação o classificam de forma neutra. Você não aciona o reflexo automático de “datacenter, limitar” na borda.
Especificidade geográfica. As alocações de ISP estão vinculadas a regiões reais. Um IP no bloco da Comcast em Cleveland tem geolocalização em Cleveland. Você obtém uma precisão em nível de cidade que o datacenter puro geralmente erra (a maioria dos IPs de datacenter tem geolocalização baseada em onde fica o colo, não onde o cliente quer aparecer).
Estabilidade. Ao contrário do residencial rotativo, o IP é seu durante toda a duração do plano. O site vê o mesmo IP sempre. Os cookies persistem. A vinculação de sessão funciona.
O que você perde em relação ao residencial rotativo é a diversidade upstream. Você não tem uma profundidade de 200 milhões de IPs; tem algumas dezenas ou centenas. Se o site-alvo queimar o IP, você não recebe um novo automaticamente.
Quando os proxies ISP são a resposta certa
Três formatos de carga de trabalho em que os proxies ISP superam significativamente as duas alternativas:
Gestão de contas em escala. Você está operando dezenas a centenas de contas em uma plataforma (por exemplo, gestão de redes sociais para marcas de clientes, contas de vendedores de e-commerce em vários fornecedores, contas de anúncios em várias redes). Cada conta precisa de um IP consistente entre logins. O residencial rotativo quebra a vinculação conta-IP e aciona nova autenticação. O datacenter puro aciona o anti-bot. IPs ISP fixos são exatamente o formato ideal.
Trabalho de sessões longas. Qualquer coisa que mantenha uma sessão aberta por horas, monitoramento de leilões competitivos, streaming com identidade residencial, rastreamentos de pesquisa longos, precisa de um IP que não expire no meio da sessão. As sessões do residencial rotativo são limitadas pelo seu TTL; os IPs ISP fixos não são.
Cargas de trabalho sensíveis à taxa de transferência contra sites tolerantes. Quando você está acessando um site que não bloqueia agressivamente, mas exige muita largura de banda (pense em monitoramento contínuo da API de catálogo público de um fornecedor), a latência de datacenter combinada a uma reputação de rede real oferece tanto a taxa de transferência quanto o não bloqueio. O residencial rotativo adiciona de 50 a 200ms por requisição de overhead de roteamento que você não precisa de fato em um alvo tolerante.
O terceiro é onde os clientes com mais frequência não consideraram os proxies ISP. Eles recorrem por padrão ao residencial porque “precisamos parecer reais” e pagam o preço da latência mesmo quando o site-alvo não iria bloquear o tráfego de datacenter em primeiro lugar.
Quando os proxies ISP são a resposta errada
Dois formatos de carga de trabalho em que os proxies ISP vão decepcionar:
Raspagens de alto volume e leque amplo. Você está buscando 100.000 páginas de produtos por dia em 50 fornecedores. Cada requisição precisa parecer um visitante diferente. Os proxies ISP têm um pool pequeno, então você acabará reutilizando o mesmo IP em milhares de requisições contra o mesmo alvo, exatamente o que a maioria dos sistemas anti-bot está vigiando. O residencial rotativo é a ferramenta certa aqui.
Alvos difíceis com defesa ativa. Sites que queimam IPs agressivamente com base em comportamento em tempo real, as configurações mais agressivas do Cloudflare, certos sites financeiros, certos agregadores de viagens com anti-bot hostil, vão consumir seu pool de ISP rapidamente. Com o residencial rotativo você tem IPs de substituição praticamente infinitos; com o ISP você esgota sua alocação em poucos dias.
O sinal de que você está usando a ferramenta errada geralmente é óbvio: a taxa de sucesso em um determinado alvo caindo ao longo de alguns dias. Com o residencial rotativo, a taxa de sucesso permanece estável porque o pool é constantemente renovado. Com os proxies ISP, a taxa de sucesso decai à medida que mais dos seus IPs são queimados pelo alvo.
A lógica de precificação
Ambos os produtos têm modelos de precificação racionais que revelam para que foram construídos.
O residencial rotativo é precificado por GB de largura de banda porque o fator de custo são os contratos upstream com os parceiros de SDK residencial, cada GB que você move é um GB que o SDK precisa entregar. A concorrência é gratuita, a quantidade de IPs é efetivamente ilimitada, você paga pelo fluxo de dados.
Os proxies ISP são precificados por IP porque o fator de custo é a alocação estática. Cada IP fixo é reservado para você, seja usado ou não. A largura de banda é ilimitada porque não há custo upstream por GB, uma vez que você tem o IP, a requisição marginal é gratuita.
Isso significa que o cálculo de custo é completamente diferente. Para o residencial rotativo, divida seu orçamento mensal de largura de banda pela taxa por GB e esse é o seu plano. Para os proxies ISP, conte quantas contas/sessões/identidades simultâneas você precisa e multiplique pelo custo por IP.
Na prática: se você está executando 10 sessões de longa duração, o ISP é drasticamente mais barato do que a largura de banda que essas sessões consumiriam no residencial. Se você está executando 10.000 raspagens de curta duração em leque amplo, o residencial é drasticamente mais barato do que o custo por IP de fixar 10.000 IPs ISP.
O padrão de implantação mista
Os clientes mais sofisticados não escolhem apenas um. Eles direcionam o tráfego para o produto certo com base no formato do fluxo de trabalho, muitas vezes dentro da mesma base de código. Uma arquitetura de produção comum:
- Residencial rotativo para a camada de raspagem em massa, inteligência de preços, monitoramento de SERP, agregação de conteúdo. Alto volume, transitório, geograficamente diverso.
- Proxies ISP para a camada de contas, gestão de contas de vendedores, monitoramento de contas de anúncios de concorrentes, sessões autenticadas de longa duração.
- Datacenter para a camada de API interna, chamando suas próprias APIs, acessando conteúdo em cache de CDN, qualquer coisa que o alvo não se preocupa em defender.
Três tipos diferentes de proxy por trás de uma única abstração de infraestrutura, escolhidos pelo formato do fluxo de trabalho, não por intuição.
Por que as equipes subutilizam o ISP
A resposta honesta: a maioria das equipes escolhe um produto quando ainda são novas em proxies e nunca revisita essa escolha. Começaram com o residencial rotativo porque é o que todo post de “melhores práticas” recomenda, incorporaram isso à sua base de código e nunca investigam as cargas de trabalho em que essa é, matematicamente, a ferramenta errada.
Se você está há três anos em uma implantação apenas residencial e nunca comparou suas cargas de trabalho de gestão de contas ou intensivas em sessões com os proxies ISP, há uma boa chance de você estar pagando a mais por latência e largura de banda residenciais que você não precisa de fato nesses fluxos de trabalho.
A forma de descobrir é a forma tediosa: direcione 10% de um fluxo de trabalho específico por um plano ISP durante duas semanas, meça a taxa de sucesso, meça o custo, compare. Ou é uma vitória clara e você migra esse fluxo de trabalho, ou não é e você permanece onde estava. Qualquer um dos resultados é útil.
O meio-termo não é mais atraente do que os extremos, o que em parte explica por que recebe menos atenção neste mercado. Mas, para uma classe específica e significativa de carga de trabalho, é a ferramenta certa, e as ferramentas que você usa são a maior parte do que determina sua economia unitária.