Crawlers de desktop como o Screaming Frog e o Sitebulb enviam centenas ou milhares de requisições a um mesmo site em pouco tempo, todas a partir de um único endereço IP. No seu próprio site, isso raramente é um problema. No site de um concorrente, em um grande catálogo de ecommerce ou em qualquer site protegido por um firewall rigoroso, o rastreamento costuma parar no meio do caminho: respostas 403 e 429, páginas de CAPTCHA contadas como conteúdo ou um site que, sem aviso, entrega uma versão diferente para o IP do seu escritório.
Um proxy resolve a parte do endereço. Ele também é a forma de auditar um site do jeito que os visitantes de outro país o veem, o que faz diferença no SEO internacional. Este guia mostra quando uma auditoria realmente precisa de proxy, como configurá-lo nas principais ferramentas e quais ajustes determinam se o rastreamento funciona. Ele faz parte do nosso trabalho mais amplo de monitoramento de SEO, em que ver as páginas a partir do lugar certo é metade do trabalho.
Quando uma auditoria de site precisa de proxy
Auditar sites que você não controla. Auditorias de concorrentes, pesquisas de content gap e auditorias pré-venda para potenciais clientes rastreiam sites que nunca concordaram com o seu rastreamento. Firewalls e CDNs limitam a taxa por IP, e uma rajada vinda de um único endereço é o padrão mais fácil de bloquear.
Verificar versões localizadas. Os sites redirecionam por país, mudam preços e moeda e, às vezes, escondem seções inteiras fora de um mercado. Um rastreamento a partir do seu escritório só enxerga uma versão. Rastrear por um IP em cada país-alvo mostra o que os visitantes e os usuários de busca locais recebem, e permite verificar se as alternativas hreflang realmente funcionam. Nosso guia sobre como usar hreflang para encontrar todas as versões de idioma de uma página cobre essa parte da auditoria.
Encontrar truques baseados em localização ou rede. Alguns sites, e muitos sites invadidos, entregam às redes de escritórios e data centers um conteúdo diferente daquele que os usuários domésticos veem. Rastrear a partir de conexões residenciais no mercado certo é a forma de ver a versão real.
Quando você não precisa de proxy. No seu próprio site, a melhor solução é liberar o IP do seu crawler na allowlist do firewall ou da CDN, ou rastrear uma cópia de staging. Um proxy acrescenta custo e mais uma peça a um rastreamento que você pode simplesmente autorizar.
Como configurar um proxy no Screaming Frog
O SEO Spider do Screaming Frog tem uma configuração de proxy em File > Settings > Proxy no Windows e no Linux, e em Screaming Frog SEO Spider > Settings > Proxy no macOS. Marque “Use Proxy Server”, informe o endereço e a porta do proxy e preencha as suas credenciais do proxy.
Três detalhes da própria documentação do Screaming Frog definem como usar esse recurso:
- Só é possível configurar um servidor proxy. Não há rotação nativa a partir de uma lista, então, se você quiser rotação, o próprio proxy precisa cuidar disso.
- É preciso reiniciar a ferramenta para que as alterações no proxy passem a valer.
- Não há exceções. Ou todo o tráfego HTTP e HTTPS do crawler passa pelo proxy, ou nada passa.
O limite de um único proxy é o motivo pelo qual um proxy residencial do tipo gateway combina tão bem com crawlers: você informa um único endpoint, e o gateway decide qual IP de saída cada requisição usa, com base na segmentação definida no seu nome de usuário. Se o rastreamento falhar logo de cara com erros de autenticação, nosso guia para corrigir erros 407 de autenticação de proxy lista as causas mais comuns.
Como configurar um proxy no Sitebulb
No Sitebulb, abra Settings na navegação superior e vá até a aba Proxy. Essas são configurações globais, então elas se tornam o padrão para toda nova auditoria que você iniciar. Lembre-se de desativar o proxy antes de auditar os seus próprios sites, senão essas auditorias também vão passar por ele.
Outras ferramentas de auditoria seguem o mesmo padrão: um único campo de proxy nas configurações do aplicativo ou do projeto. Crawlers na nuvem geralmente rodam nos próprios servidores e não aceitam proxy algum, e esse é um dos motivos pelos quais os crawlers de desktop continuam comuns na análise de concorrentes.
Rotativo ou sticky: como escolher o tipo de sessão
Com um gateway, você escolhe se cada requisição recebe um novo IP de saída ou se o rastreamento mantém o mesmo IP por algum tempo.
A rotação por requisição distribui o rastreamento entre muitos endereços, de modo que nenhum IP envia tráfego suficiente para acionar um limite de taxa. Funciona bem em páginas estáticas e grandes catálogos sem login e com poucos cookies.
As sessões sticky mantêm o mesmo IP por um tempo definido. Use-as quando o site vincula cookies, preferências de consentimento ou o país escolhido à sessão, ou quando trocar de IP no meio do rastreamento dispara novas verificações antibot. Defina uma duração de sessão maior do que uma rajada típica do rastreamento, para que o IP não mude enquanto páginas relacionadas estão carregando.
Nosso modelo de decisão para alternar IPs de proxy analisa esse equilíbrio com mais detalhes. Em auditorias localizadas, adicione o país, e se necessário a cidade, ao nome de usuário do proxy para que todas as requisições saiam no mercado que você está auditando.
Ajustes de rastreamento que importam mais do que o proxy
Um proxy muda a origem das requisições. Ele não torna aceitável um rastreamento agressivo, e vários ajustes do crawler importam tanto quanto o proxy.
Velocidade. O Screaming Frog rastreia com 5 threads por padrão e permite limitar o rastreamento em URLs por segundo em Configuration > Speed. No site de outra pessoa, mantenha a taxa baixa e deixe o rastreamento demorar mais. Distribuir um rastreamento rápido entre muitos IPs continua sendo um rastreamento rápido para o servidor que o recebe.
User agent. Em Configuration > User-Agent você pode rastrear como navegador ou como Googlebot. Um user agent do Googlebot vindo de um IP que não é do Google é fácil de identificar, e sites que verificam crawlers vão tratá-lo como suspeito. Em auditorias de concorrentes, um user agent de navegador comum é a escolha mais segura.
O que você baixa. O tráfego residencial normalmente é cobrado por GB. Imagens, fontes, vídeos e scripts podem representar a maior parte do peso de uma página. Se a auditoria é sobre HTML, títulos, links e códigos de status, exclua os tipos de recurso de que você não precisa. A renderização de JavaScript carrega todos os recursos que um navegador carregaria, então ative-a apenas nas seções que realmente precisam dela.
Robots.txt. Respeitar o robots.txt é o padrão nas duas ferramentas. Mantenha assim em sites que não são seus.
Perguntas frequentes
O Screaming Frog consegue alternar proxies?
Não a partir de uma lista. O Screaming Frog aceita um único servidor proxy. Para alternar IPs, aponte-o para um gateway de proxy que atribua um novo IP de saída por requisição ou por sessão.
Preciso de proxy para rastrear o meu próprio site?
Normalmente não. Liberar o IP do seu crawler na allowlist do firewall ou da CDN é mais simples e mais barato. Use proxy no seu próprio site apenas quando precisar vê-lo a partir de outro país ou de outra rede.
Qual tipo de proxy funciona melhor para crawlers de SEO?
Os proxies residenciais são os mais confiáveis em sites com proteção antibot rigorosa e para ver versões localizadas, porque as requisições saem de conexões domésticas no país escolhido. Os proxies de datacenter são mais baratos e podem funcionar em sites com pouca proteção.
Por que o meu rastreamento mostra erros 403 ou 429?
O site está bloqueando ou limitando a taxa das suas requisições. Primeiro reduza a velocidade do rastreamento e, se os limites forem por endereço, rastreie por IPs rotativos.
Conclusão
Crawlers de desktop enviam todas as requisições a partir de um único IP, o que é tranquilo no seu próprio site e um problema no site dos outros. Em auditorias de concorrentes e internacionais, aponte o Screaming Frog ou o Sitebulb para um único endpoint de gateway, escolha sessões rotativas ou sticky de acordo com o site, segmente pelo país que você está auditando e mantenha o rastreamento lento e focado nas páginas e nos recursos de que você realmente precisa.