Se você chegou até aqui porque algo que estava tentando fazer online foi bloqueado, ou porque um tutorial disse que você precisa de proxies residenciais sem explicar o motivo, este é o ponto de partida. Nenhum conhecimento prévio é necessário, nenhum jargão que não seja explicado assim que aparece.
O que um proxy realmente faz
Normalmente, seu computador se conecta diretamente a um site, e o site vê seu endereço IP, o número que seu provedor de internet atribuiu à sua conexão. Um proxy fica no meio: você envia sua requisição ao proxy, o proxy a encaminha ao site, e o site vê o endereço do proxy em vez do seu.
Esse é todo o mecanismo. O resto é sobre de quem você toma emprestado o endereço.
Por que o tipo de endereço importa
Os sites tratam os endereços de forma diferente dependendo de onde eles vêm, e essa é a parte que surpreende os iniciantes.
Um endereço de datacenter pertence a uma empresa de hospedagem, o tipo de lugar onde servidores ficam. Eles são baratos e rápidos, mas também são obviamente não pessoas. As faixas são publicamente registradas, então um site consegue identificar instantaneamente que uma requisição veio de um servidor, e muitos sites tratam isso como motivo para bloquear, desafiar ou servir conteúdo diferente.
Um endereço residencial pertence a uma conexão de internet doméstica real, atribuída por um provedor de consumo a uma residência. Para um site, isso parece uma pessoa comum navegando de casa, motivo pelo qual funciona em sites onde endereços de datacenter não funcionam. Esses endereços vêm de pessoas que concordaram em compartilhar sua conexão, motivo pelo qual custam mais: a oferta é finita de uma forma que os endereços de datacenter não são.
Existem outros tipos, e o vocabulário completo está no glossário, mas essa distinção cobre a maior parte do que um iniciante precisa saber.
Quando você realmente precisa de um
Proxies residenciais valem o custo quando seu trabalho depende de uma de duas coisas.
Ver o que as pessoas em outros lugares veem. Preços, resultados de busca, disponibilidade de produtos e publicidade variam por país e frequentemente por cidade. Se você precisa saber o que um cliente na Alemanha vê, precisa perguntar a partir da Alemanha, e um endereço residencial na Alemanha é como você faz isso. Isso cobre monitoramento de preços, verificação de como seu site ou anúncios aparecem em outros mercados, e coleta de dados de pesquisa que variam por região.
Coletar dados públicos em uma escala que uma única conexão não consegue gerenciar. Qualquer site vai perceber milhares de requisições vindas de um único endereço e começar a recusá-las. Distribuir esse volume entre muitos endereços é como grandes trabalhos de coleta continuam funcionando.
Se nenhum dos casos se aplica, talvez você nem precise de proxies residenciais. Alvos sem defesas e sua própria infraestrutura funcionam bem com endereços de datacenter mais baratos, e usar residencial onde não é necessário é simplesmente mais caro. A comparação honesta está em residencial versus datacenter.
As duas formas como eles se comportam
Este é o conceito que mais confunde as pessoas, e é simples quando explicado.
Rotativo significa que cada requisição sai por um endereço diferente. Essa é a opção padrão e a escolha certa para coletar dados, porque distribuir requisições entre muitos endereços é exatamente o que evita que qualquer um deles chame atenção.
Estático significa que você mantém o mesmo endereço por um tempo. Você precisa disso sempre que um site lembra de você entre requisições: fazer login, navegar por uma busca de várias páginas, ou qualquer coisa em que trocar de endereço no meio do processo pareceria que uma pessoa diferente apareceu na metade do caminho. Você obtém isso adicionando um identificador de sessão ao seu nome de usuário, e ele dura um tempo determinado antes de rotacionar.
A maioria dos projetos usa ambos: rotativo para coleta em massa, estático para as partes que envolvem uma sequência. Mais em estático versus rotativo.
Como você paga por eles
Proxies residenciais são cobrados pelos dados que você transfere, medidos em gigabytes, em vez de pela quantidade de endereços que você usa. Isso pega muita gente de surpresa, porque significa que o número de IPs não é algo que você compra, e o que precisa ser estimado é a largura de banda.
A consequência prática é que o que você busca importa mais do que quantas requisições você faz. Buscar os dados subjacentes de uma página são alguns kilobytes; carregar essa página completamente em um navegador, com todas as suas imagens, fontes e scripts, pode ser vários megabytes. O mesmo trabalho feito da segunda forma pode custar cem vezes mais. Essa troca é abordada em estimando a largura de banda e reduzindo custos de largura de banda.
Sua primeira requisição
Quatro coisas: um host, uma porta, um nome de usuário e uma senha. O host e a porta nunca mudam. Sua segmentação vai no nome de usuário.
# o mais simples possível: rotativo, sem preferência de localização
curl -x customer-USERNAME:PASSWORD@p.shifter.io:443 https://ipinfo.io/json
# a mesma requisição, mas saindo pela Alemanha
curl -x customer-USERNAME-country-de:PASSWORD@p.shifter.io:443 https://ipinfo.io/jsonExecute a primeira duas vezes e você deve ver dois endereços diferentes, o que confirma que a rotação está funcionando. O formato completo, incluindo sessões estáticas e segmentação por cidade, está em como se conectar a um proxy residencial.
Quatro erros que iniciantes cometem
Esperar que um proxy resolva sozinho um problema de bloqueio. O endereço é um sinal entre vários. Se suas requisições não parecerem, de outra forma, com as de um navegador, você ainda pode ser bloqueado, e a próxima coisa a corrigir geralmente são os headers.
Ir rápido demais. Novos usuários frequentemente enviam requisições tão rápido quanto seu código permite, o que é o caminho mais rápido para ser bloqueado. Diminua o ritmo deliberadamente; um ritmo moderado não é apenas mais educado, mas mantém sua taxa de sucesso alta, conforme limitação de taxa e throttling.
Confiar em uma resposta 200. Uma página pode retornar “sucesso” enquanto contém um desafio, um resultado vazio, ou uma versão genérica do que você queria. Verifique se o conteúdo é o que você esperava antes de tratá-lo como dado, como em detectando conteúdo bloqueado ou falso.
Carregar páginas completas quando os dados estão disponíveis diretamente. Muitos sites buscam seu conteúdo a partir de um endpoint subjacente que seu navegador consegue revelar no painel de rede. Chamar esse endpoint diretamente é mais rápido, mais simples de analisar, e dramaticamente mais barato, o que é a decisão em quando você precisa de um navegador headless.
Ficando do lado certo disso
Proxies mudam de onde sua requisição parece vir. Eles não mudam o que você tem permissão para fazer. Colete dados públicos, respeite os termos de serviço e as diretrizes de robots de cada site, mantenha sua taxa de requisições moderada, e tenha cuidado com dados pessoais. Acessar conteúdo que legitimamente varia por região é trabalho comercial comum; usar um proxy para contornar uma restrição destinada a se aplicar a você não é, e a ferramenta não muda isso. O enquadramento legítimo está em contornando restrições de geolocalização legalmente.
Para onde ir a seguir
Depois que sua primeira requisição funcionar: escolhendo o plano certo para dimensionamento, quantos IPs de proxy você realmente precisa se alguém te fizer essa pergunta, e o que testar antes de comprar se você ainda estiver avaliando. Quando algo quebrar, IP não rotacionando e corrigindo erros 407 cobrem os dois problemas iniciais mais comuns.
Resumindo
Um proxy encaminha sua requisição para que o site veja o endereço dele em vez do seu, e um proxy residencial toma emprestada uma conexão doméstica real, motivo pelo qual é tratado como um visitante comum. Você precisa disso quando seu trabalho depende de ver o que as pessoas em um lugar específico veem, ou de coletar dados públicos em um volume que uma única conexão não consegue sustentar. Rotacione por padrão, mantenha uma sessão estática quando um site estiver rastreando uma sequência, e lembre-se de que você paga por dados transferidos, então buscar menos é a principal alavanca de custo. Comece com uma única requisição simples, confirme que ela rotaciona, depois adicione segmentação uma opção por vez.
Quando estiver pronto, proxies residenciais oferecem a segmentação por país e cidade, rotação e sessões estáticas descritas aqui através de uma única conexão, com preços por GB para que um pequeno primeiro projeto custe pouco.