A versão honesta da pergunta sobre proxy gratuito versus pago não trata de qualidade em abstrato. Trata de quais falhas você está disposto a absorver. Proxies gratuitos são genuinamente gratuitos e, para um punhado de requisições contra uma página pública, às vezes funcionam. Proxies pagos custam dinheiro e eliminam uma categoria de problema que se torna cara assim que a coleta passa a importar para o negócio.
O que uma lista de proxies gratuitos realmente é
Listas de proxies gratuitos são, com poucas exceções, o resultado de varreduras em toda a internet. Um scanner varre o espaço de endereços em busca de hosts que respondem em portas comuns de proxy, verifica se eles encaminharão uma requisição e publica os que o fazem. Esses hosts se dividem em três grupos.
Alguns são configurações incorretas. Um servidor, roteador ou dispositivo foi implantado com uma porta de proxy aberta e seu proprietário não sabe disso. Ele continuará funcionando até que alguém perceba e a feche, o que pode ser amanhã.
Alguns são relays abertos deliberados, mantidos por pessoas que gostam da ideia de um serviço público. Esses são o melhor caso e os mais raros.
E alguns são operados especificamente para estar no meio do tráfego de outras pessoas. Essa é uma posição barata de comprar e valiosa de manter, porque o operador vê tudo o que passa por ela.
Nenhum dos três tem obrigação com você, compromisso de capacidade, ou motivo para ainda estar lá quando seu trabalho rodar amanhã.
A questão da segurança, dita com precisão
O aviso comum é que proxies gratuitos roubam seus dados. Isso é impreciso o suficiente para ser fácil de descartar, então aqui está a versão precisa.
Um operador de proxy vê o destino de cada requisição que você envia. Para HTTP simples, ele vê o conteúdo completo em ambas as direções e pode modificá-lo. Para HTTPS, o transporte é criptografado de ponta a ponta e o operador vê o nome do host e o padrão de tráfego, não o conteúdo. Essa é a proteção que torna o uso de proxy tolerável, afinal.
O modo de falha é o que acontece depois. Um operador que quer o conteúdo pode apresentar seu próprio certificado e esperar que o cliente o aceite. Um cliente corretamente configurado recusa e a requisição falha. O que acontece na prática é que alguém depurando um scraper que não consegue conectar através de um proxy gratuito desativa a verificação de certificado, as requisições passam a funcionar, e a única proteção que importava desaparece. O proxy agora lê tudo, incluindo quaisquer credenciais que o script envia.
Portanto, a regra é estreita e vale a pena declará-la claramente: nunca envie tráfego autenticado, credenciais, dados pessoais ou qualquer coisa comercialmente sensível através de um proxy cujo operador você não consegue identificar. Ler uma página pública é uma categoria de risco diferente de fazer login em uma conta.
O que quebra primeiro em volume
Segurança é a objeção dramática. Confiabilidade é a que encerra o experimento.
Listas gratuitas se deterioram em horas. Uma grande parcela das entradas já está morta quando publicada, e entre as que respondem, muitas já são conhecidas pelos sites que você quer acessar, porque milhares de outras pessoas estão empurrando tráfego pelo mesmo endereço. Você não está obtendo um IP novo, está obtendo um endereço com reputação pública e um histórico que você não criou.
A taxa de transferência não é gerenciada. Todo host da lista está sendo usado por todos que encontraram a lista, então a latência varia em ordens de magnitude entre requisições e as conexões caem no meio da resposta. Timeouts deixam de ser uma condição de erro e passam a ser o caso normal, o que significa que sua lógica de retentativa e seu parser precisam ser escritos em função do ruído.
Não há segmentação geográfica que valha a pena. As entradas são rotuladas com um país, os rótulos frequentemente estão errados, e não há controle algum de cidade, ASN ou operadora. Para qualquer carga de trabalho em que o objetivo é ver uma página como um usuário local a vê, adivinhar não é uma estratégia.
Não há controle de sessão. Qualquer coisa que precise do mesmo endereço em várias etapas, paginação por cursor, uma escolha de localização armazenada, um fluxo de múltiplas páginas, não pode ser feita, porque você não tem como pedir o mesmo endereço duas vezes.
E não há visibilidade. Quando um trabalho produz metade dos registros esperados, não há nada a inspecionar: nenhuma taxa de sucesso, nenhum detalhamento de erros, nenhum log por requisição. Você fica adivinhando se o alvo mudou, se o parser quebrou, ou se o proxy simplesmente falhou.
O que pagar realmente muda
Uma rede paga vende o que a lista não pode: endereços de origem conhecida, um conjunto grande o suficiente para que nenhum endereço individual carregue toda a sua carga de trabalho, controle geográfico preciso em vez de aspiracional, comportamento de sessão que você escolhe por requisição, e uma taxa de sucesso pela qual alguém é responsável.
Os proxies residenciais passam por conexões reais de consumidores, o que é o que os faz funcionar contra sites voltados ao consumidor com gerenciamento de bots maduro. Os proxies ISP oferecem o mesmo perfil de confiança com um endereço estático, que é o que os fluxos com estado precisam. Proxies de datacenter continuam sendo os mais baratos por requisição e são a resposta certa para alvos que não se defendem. Escolher entre eles é uma decisão de roteamento, e o acesso pago é o que transforma isso em uma decisão de fato, e não apenas em uma esperança.
O sourcing faz parte do que você está comprando e vale a pena perguntar sobre isso. Uma rede residencial é construída a partir de peers cujos dispositivos carregam o tráfego, e se esses peers concordaram conscientemente com isso é uma diferença real entre provedores, tanto eticamente quanto na estabilidade do pool ao longo do tempo. É uma pergunta justa a se fazer a qualquer fornecedor antes de assinar.
Quando gratuito é a resposta certa
Proxies gratuitos não são um golpe, e há casos em que pagar não faz sentido.
Verificar se uma página é renderizada de forma diferente em outro país, uma única vez. Aprender como funciona a configuração de proxy antes de se comprometer com um plano. Ler uma página pública, não sensível, em que uma falha não custa nada e uma nova tentativa é gratuita. Um experimento descartável que nunca rodará duas vezes.
O fio condutor comum é que nada depende do sucesso da requisição. No momento em que algo passa a depender, seja um relatório, um feed de preços, um trabalho de monitoramento ou qualquer coisa com prazo, a aritmética se inverte.
A aritmética
O argumento a favor de pagar geralmente é construído em torno da qualidade. Ele é mais convincente em torno do custo.
Considere um trabalho modesto: algumas milhares de páginas públicas por dia. Em infraestrutura gratuita, a maioria das requisições falha ou retorna páginas de desafio, então o crawler tenta novamente, e as novas tentativas também falham. Um engenheiro passa uma semana construindo rotação, verificação de saúde e lógica de retentativa para lidar com um conjunto de endereços que é pouco confiável por design, e depois gasta tempo todo mês mantendo isso funcionando à medida que a lista se renova. Essa semana vale mais do que vários anos de um plano pequeno de proxy.
A versão paga do mesmo trabalho tem preço por banda. Tráfego residencial a $1,00/GB contra páginas de texto, com imagens e fontes bloqueadas, coloca um trabalho como esse na faixa de poucos dólares por mês. O tempo de engenharia vai para o parser e para a análise, em vez de contornar a infraestrutura.
Esse é todo o argumento. Proxies gratuitos não custam nada de graça, eles transferem o custo da fatura para o calendário de engenharia, e adicionam uma categoria de risco que não tem contrapartida positiva.
Como escolher um provedor pago
Uma vez tomada a decisão, os critérios úteis de avaliação são operacionais, não cosméticos. Tamanho do pool e número de países são os números de destaque e os menos informativos. O que importa é se as taxas de sucesso se mantêm durante sua janela de coleta, se a segmentação geográfica resolve para a cidade ou ASN solicitados, se sessões rotativas e fixas estão ambas disponíveis em uma única conta, se a concorrência tem limite, e se o uso é visível em tempo real, em vez de apenas no fim do mês.
A medição independente vale mais do que as afirmações de fornecedores nesse ponto, e é por isso que os números da nossa própria rede estão na página de benchmarks com o método anexado, em vez de serem simplesmente afirmados em um artigo. A rede residencial da Shifter cobre mais de 205 milhões de IPs em mais de 195 países, com segmentação em nível de cidade e ASN, sessões rotativas e fixas, e conexões simultâneas ilimitadas, e o preço é por GB, sem cobrança por IP.
A versão resumida
Proxies gratuitos são adequados para curiosidade e inadequados para qualquer outra coisa. Eles são pouco confiáveis por construção, opacos quanto a quem os opera, e perigosos no momento em que credenciais estão envolvidas.
Proxies pagos não são melhores porque custam dinheiro. Eles são melhores porque alguém é responsável pelo pool, a geografia é real, as sessões se comportam como esperado, e as falhas são visíveis. Para qualquer trabalho de coleta do qual uma pessoa ou um relatório dependa, isso não é um luxo. É a especificação mínima.
Leia a seguir: como evitar ser bloqueado ao fazer scraping.