Pergunte a um provedor de proxies qual é a taxa de sucesso e, em geral, você ouvirá um número muito alto. Pergunte como ele foi contado e a resposta costuma ser “requisições que retornaram uma resposta” ou “requisições que retornaram HTTP 200”. Nenhuma das duas diz se você obteve os dados.
Quaisquer que sejam os proxies residenciais que você use, a definição útil de sucesso é mais restrita: a resposta continha o que você pediu. Este guia explica por que os códigos de status superestimam o sucesso, como substituí-los por uma regra de aprovação e como contar o resultado com honestidade. O foco é a medição. Para identificar conteúdo adulterado ou falso dentro de um scraper, veja nosso post sobre como detectar conteúdo bloqueado ou falso ao fazer scraping.
Por que o código de status mente
Os códigos de status HTTP descrevem a conversa entre o seu cliente e um servidor. Eles não dizem nada sobre o servidor ter entregado a página. Sites protegidos têm todos os motivos para responder educadamente a uma requisição suspeita:
- Páginas de desafio. Um CAPTCHA ou uma página intermediária em JavaScript é entregue com status 200, porque o site quer que um navegador a renderize.
- Bloqueios suaves. Uma página de busca sem resultados, uma página de produto sem o preço ou um modelo de “algo deu errado”, todos com status 200.
- Páginas de consentimento e de redirecionamento. Um muro de cookies ou uma página inicial regional que substitui o conteúdo que você pediu.
- Conteúdo errado. Uma página de um país diferente do que você escolheu como alvo, que é processada sem problemas e está errada.
Cada um desses casos é cobrado como tráfego e cada um conta como sucesso em um painel baseado em códigos de status. É assim que as taxas de sucesso por código de status ficam perto da perfeição enquanto a parcela de páginas utilizáveis é bem menor.
Quatro resultados, um sucesso
Um esquema mais honesto, o que a metodologia do Atlas usa, classifica cada requisição em um de quatro resultados:
- Aprovada. A resposta atendeu à condição escrita para aquele alvo: o elemento foi processado, o JSON tinha o formato esperado ou o token foi emitido. Este é o único sucesso.
- Desafio. Um CAPTCHA ou uma página intermediária voltou no lugar da página, normalmente com status 200.
- Bloqueio. O alvo recusou de forma direta: um 403, um 429, uma página de bloqueio ou uma conexão encerrada antes de qualquer conteúdo.
- Tempo esgotado. Nenhuma resposta utilizável dentro do orçamento de tempo daquele alvo, incluindo erros gerados pelo próprio gateway do proxy.
Separar as falhas assim importa porque cada uma aponta para uma causa diferente. Bloqueios e desafios descrevem, em sua maioria, como o alvo enxerga o endereço de saída. Tempos esgotados descrevem, em sua maioria, a rede. Uma contagem única de falhas esconde qual problema você tem.
Escrevendo uma regra de aprovação
Uma regra de aprovação é uma verificação que o código consegue executar sobre uma resposta sem que uma pessoa precise olhar. Ela nomeia a evidência de que a página é a verdadeira. Boas regras são específicas para o alvo:
- Página de produto: a marcação de preço e de estoque está presente e é processada.
- Página de resultados de busca: pelo menos um número definido de blocos de resultados orgânicos é processado.
- Endpoint JSON: a resposta é um JSON válido com o array esperado, não um objeto de erro.
- Fila ou sessão: um token foi emitido.
- Página estática: o corpo chegou sem alterações, por exemplo conferindo um hash ou um tamanho conhecidos.
Mantenha cada regra estreita o bastante para que uma página de desafio não passe por acidente, e flexível o bastante para que uma mudança legítima de layout não reprove todas as requisições. Verifique a presença dos dados de que você precisa, não a ausência da palavra “captcha”, que um novo fornecedor de desafios não vai conter.
Escreva a regra antes de testar. Uma regra escolhida depois de ver os resultados tende a ser ajustada para fazer um provedor parecer bom.
Taxa de desafio: o número que os códigos de status escondem
Entre os três tipos de falha, a taxa de desafio merece uma linha própria em qualquer relatório. Ela é a parcela de requisições respondidas com um CAPTCHA ou uma página intermediária, e se comporta de forma diferente dos bloqueios.
Os sites costumam escalar a resposta: primeiro desafiam um endereço, depois o bloqueiam. Uma taxa de desafio em alta costuma ser o primeiro sinal de que um pool está sendo usado além da conta ou de que um alvo endureceu suas defesas, dias antes de os bloqueios diretos subirem. Como os desafios chegam com status 200, um painel de códigos de status não mostrará nada enquanto isso acontece.
Desafios também custam dinheiro. Uma página de desafio é uma resposta completa, com cabeçalhos, marcação e scripts, então em um plano cobrado por gigabyte você paga por ela como por uma página real. A página de custo real do Atlas mostra quanto isso acrescenta quando as requisições com falha entram no preço.
Contando com justiça
Uma regra de aprovação define o numerador. O denominador exige o mesmo cuidado:
- Conte cada tentativa. Se o seu cliente refaz requisições, cada nova tentativa é uma requisição. Uma taxa de sucesso medida depois das novas tentativas descreve a sua lógica de retentativa, não a rede.
- Mantenha tempos esgotados e erros de gateway na conta. Descartar requisições que “nunca chegaram ao site” remove justamente as falhas pelas quais a rede é responsável.
- Distribua o peso do tempo de forma uniforme. Uma hora movimentada não deve abafar uma hora calma, nem uma boa tarde esconder uma noite ruim.
- Reporte por alvo. Uma média entre uma página sem proteção e uma protegida não descreve nenhuma das duas.
- Publique o denominador. Uma taxa sem o número de requisições não pode ser avaliada.
Fazendo você mesmo
Uma configuração mínima para medir a taxa de sucesso de proxies no seu próprio trabalho:
- Liste os alvos pelos quais você de fato paga por proxies.
- Escreva uma regra de aprovação por alvo antes de enviar qualquer requisição.
- Registre cada requisição com o status, o veredito da regra de aprovação, o tempo e o endereço de saída que o alvo viu.
- Classifique cada falha como desafio, bloqueio ou tempo esgotado.
- Reporte separadamente sucesso, taxa de desafio, taxa de bloqueio e tempos esgotados, por alvo, com as contagens.
- Acompanhe a taxa de desafio ao longo do tempo e configure alertas para ela, em vez de para códigos de status.
Nosso post sobre como monitorar um pipeline de web scraping trata da parte de alertas, depois que esses números existem.
O Atlas julga cada requisição que envia da mesma forma, com uma regra de aprovação escrita por alvo, e publica o resultado de cada um na página de Alvos, de modo que a taxa de sucesso de uma rede sempre signifique a parcela de requisições que entregou a página real.