Um proxy residencial é um servidor proxy que envia suas requisições por meio de um endereço IP que um provedor de internet (ISP) atribuiu a uma conexão residencial real. Para o site do outro lado, a requisição parece ter vindo de uma residência comum, não de um servidor em nuvem ou de um data center.
Essa é a ideia central, e ela importa porque muitos sites avaliam o tráfego com base em sua origem. Uma requisição vinda de um IP residencial de banda larga é tratada como a de um visitante normal. A mesma requisição vinda de uma faixa de servidores conhecida costuma ser desacelerada, desafiada ou bloqueada. É por isso que equipes que coletam dados públicos da web em grande escala direcionam seu tráfego por proxies residenciais.
Como funciona um proxy residencial
Um proxy fica entre sua aplicação e o site. Seu scraper, navegador ou cliente de API envia a requisição ao gateway do provedor de proxy. O provedor a encaminha por meio de um IP residencial e retorna a você a resposta.
O site só vê o IP residencial. Como qualquer IP residencial, ele revela detalhes públicos sobre sua origem: o país, a cidade, o provedor de internet e, muitas vezes, a região. Sua própria máquina e seu endereço permanecem ocultos atrás dele.
Isso dá a você controle sobre duas coisas que importam para a coleta de dados:
- Localização. Você escolhe de onde a requisição parece vir. Bons provedores permitem direcionar para um país, uma cidade ou uma rede de provedor específica, conhecido como direcionamento por ASN.
- Comportamento de sessão. Você escolhe se o IP muda ou permanece o mesmo.
Sessões rotativas e fixas
Os proxies residenciais vêm com dois modelos de sessão.
Sessões rotativas fornecem um novo IP a cada requisição ou após um intervalo definido. O tráfego se distribui pelo pool, de modo que nenhum endereço isolado carrega requisições suficientes para se destacar. Isso serve bem para requisições independentes, como páginas de produtos ou resultados de busca.
Sessões fixas mantêm o mesmo IP por um período de tempo. Você precisa delas quando as requisições dependem umas das outras: logins, carrinhos de compra, resultados paginados ou qualquer fluxo em que uma mudança repentina de localização pareceria suspeita.
A maioria dos provedores oferece os dois modelos por meio de um único gateway, às vezes chamado de backconnect gateway: você se conecta a um host e uma porta, e o gateway escolhe o IP de saída. Nosso guia sobre como funcionam os proxies rotativos detalha as configurações.
Proxies residenciais vs. de datacenter vs. de ISP
Proxies de datacenter usam IPs pertencentes a empresas de hospedagem e nuvem. Um único servidor pode fornecer milhares deles a partir da mesma sub-rede. São rápidos e baratos, mas os sites conseguem identificar que pertencem a servidores, então sites mais rigorosos os bloqueiam rapidamente. Proxies de datacenter compartilhados são usados por vários clientes ao mesmo tempo, os privados por um único cliente.
Proxies residenciais usam IPs que os ISPs atribuem a residências. São aceitos em sites mais rigorosos e mostram o conteúdo como um visitante local o veria. A contrapartida é um preço mais alto por gigabyte e uma latência que varia mais do que em um servidor.
Proxies de ISP ficam entre os dois. São registrados em provedores de internet para consumidores, mas rodam em servidores, o que os torna rápidos e estáveis para sessões longas em uma mesma cidade e rede de provedor.
A diferença de preço é menor do que parece. Se um tipo de proxy mais barato leva a bloqueios, novas tentativas e tarefas fracassadas, a economia desaparece. Para a comparação completa, leia proxies residenciais vs. de datacenter.
Por que os sites tratam os IPs residenciais de forma diferente
Sistemas antibot raramente observam apenas um sinal. Eles pontuam uma combinação deles: tipo de IP, rede do provedor, taxa de requisições, comportamento de sessão, fingerprint do navegador, cookies e se a localização permanece consistente.
Um IP residencial se encaixa no padrão de tráfego comum de consumidores. Um varejista, mecanismo de busca ou marketplace geralmente aceitará uma requisição vinda de uma conexão residencial que desafiaria de imediato se viesse de uma faixa de data center conhecida. Alguns sites vão além e mostram dados incorretos ou incompletos para o tráfego que consideram automatizado, de modo que o tipo de IP também afeta a qualidade do que você coleta.
Ainda assim, o IP sozinho não é suficiente. Requisições rápidas demais, cabeçalhos ausentes ou lógica de sessão quebrada ainda podem ser bloqueadas. Os proxies residenciais melhoram o sinal de rede. Eles não substituem boas práticas de scraping.
Para que os proxies residenciais são usados
Equipes usam proxies residenciais sempre que precisam de acesso confiável e local a conteúdo público da web:
- Web scraping e pesquisa de mercado. Coleta de listagens de produtos, avaliações e dados públicos de sites que filtram tráfego de servidores.
- Monitoramento de preços. Acompanhamento de preços e promoções da concorrência como os clientes de cada mercado os veem, uma tarefa central em ecommerce.
- Verificação de anúncios. Checagem de que os anúncios aparecem nos locais e países corretos, e identificação de fraudes.
- SEO e rastreamento de SERP. Visualização dos resultados de busca como eles aparecem em cada país ou cidade.
- Gerenciamento de redes sociais. Operação de várias contas, cada uma a partir de sua própria localização consistente.
- Testes localizados. Verificação de como um site, aplicativo ou checkout se comporta para usuários em outros países.
- Segurança e proteção de marca. Investigação de phishing, falsificações e fraudes do ponto de vista de um visitante comum.
Quando você não precisa de um
Para tarefas mais leves em sites tolerantes, os proxies residenciais podem ser mais do que você precisa. Se o site não filtra pela origem da rede e os dados não mudam conforme a localização, proxies de datacenter ou de ISP costumam ser mais rápidos e baratos. A escolha certa depende do alvo, do formato da carga de trabalho e de quanto vale cada requisição bem-sucedida.
O que procurar em um provedor de proxy residencial
O tamanho do pool é o primeiro número que os provedores anunciam, mas uma rede grande só importa se funcionar na prática. Verifique estes pontos:
- Cobertura ativa. Quantos IPs estão realmente online nos países que você precisa, não apenas o pool total. Em nosso próprio benchmark, a Shifter teve o maior pool de IPs residenciais ativos dos EUA entre as 16 redes que medimos.
- Direcionamento. País no mínimo, além de cidade e rede do provedor se seus dados forem locais.
- Controle de sessão. Sessões rotativas e fixas fáceis de configurar por requisição.
- Concorrência. Conexões paralelas suficientes para todos os seus workers.
- Integração. Suporte padrão a HTTP e SOCKS5 com autenticação por usuário e senha, para que o proxy se encaixe nas ferramentas que você já usa.
- Origem. IPs de pessoas que concordaram em compartilhar sua conexão, não de dispositivos comprometidos.
- Preços. Planos claros por gigabyte, para que o custo acompanhe os dados que você coleta. Compare planos em nossa página de preços de proxy residencial.
Equívocos comuns
“Proxies residenciais servem só para scraping.” Eles suportam qualquer fluxo de trabalho que precise de acesso confiável e local a conteúdo público da web, incluindo testes, verificação de anúncios, pesquisa de segurança e monitoramento.
“Mais IPs sempre significa melhores resultados.” Um pool maior ajuda, mas não se o roteamento for fraco ou se faltarem direcionamento e controle de sessão.
“O tráfego residencial é invisível.” Não é. Os sites ainda analisam o comportamento. Bons proxies melhoram o sinal de rede, mas padrões de requisição ruidosos ou pouco realistas ainda são sinalizados.
Resumo
Um proxy residencial dá às suas requisições o IP de uma conexão residencial real, de modo que os sites as tratam como visitantes comuns na localização que você escolher. Use sessões rotativas para distribuir requisições independentes e sessões fixas para fluxos de várias etapas. Escolha proxies residenciais quando a qualidade de acesso e a precisão local importarem mais do que o custo bruto de largura de banda, e avalie os provedores pela cobertura ativa, pelo direcionamento, pelo controle de sessão e pela forma como obtêm seus IPs.