Guias, Tutoriais e Insights
Aprenda sobre proxies residenciais, web scraping, estratégias de coleta de dados e as melhores práticas do setor com a equipe do Shifter.
Quem Bloqueia os Crawlers de IA? GPTBot, ClaudeBot e Companhia nos 10.000 Maiores Sites
Lemos o robots.txt dos 10.000 maiores domínios. Um site em cada cinco bloqueia pelo menos um crawler de IA, enquanto quase todos ainda recebem bem os mecanismos de busca.
Chris Collins · 6 de outubro de 2026 O Custo de um User-Agent Desatualizado: Medindo a Defasagem de Versão do Navegador
Scrapers geralmente fixam uma versão de navegador no código e se esquecem dela. Fizemos requisições a 397 sites importantes informando versões do Chrome de até 6.5 anos atrás. As recusas aumentaram a cada ano.
Chris Collins · 5 de outubro de 2026 Seu Alvo Pode Ser Bloqueado? Uma Consulta à Stack Anti-Bot
Antes de criar um scraper, descubra o que protege o alvo. Verificamos os 1.000 principais domínios: quais fornecedores anti-bot eles usam e como um cliente simples se saiu.
Chris Collins · 3 de outubro de 2026 Seleção de Proxy como um Problema de Multi-Armed Bandit
Qual configuração de proxy a próxima requisição deve usar? Trate isso como um problema de bandit. Em nossa simulação, a seleção adaptativa ficou a 2% da perfeição em retrospectiva.
James Meadow · 2 de outubro de 2026 Projetando Scrapers Idempotentes: Reiniciando Sem Duplicar
Scrapers travam. Matamos um dez vezes no meio da coleta: uma versão ingênua armazenou até 4,3 vezes mais linhas, uma idempotente exatamente 500. Como construir a segunda.
Chris Collins · 2 de outubro de 2026 Codificações de Caracteres em Dados Extraídos: Detectando Charsets e Corrigindo Mojibake
Buscamos 193 das principais homepages em seis países. Um padrão comum do Python corrompeu o texto de 37 delas. Como decodificar páginas extraídas da mesma forma que os navegadores fazem.
Chris Collins · 1 de outubro de 2026 Mantenha a Resposta Bruta: Arquivando Páginas Raspadas em WARC para Replay
Parsers melhoram e extratores quebram, mas uma página que você não guardou não pode ser analisada novamente. Como armazenar respostas brutas em WARC, com código testado e tamanhos reais.
Matt Brown · 1 de outubro de 2026 Encontrando a API Por Trás da Página: Coletando de Endpoints JSON em Vez de HTML
Muitas páginas carregam seus dados como JSON. Como encontrar o endpoint que os carrega, por que ele costuma estar vinculado à sessão da página e como coletá-los de forma responsável.
Chris Collins · 30 de setembro de 2026 Sitemaps como Fonte de Descoberta: Encontrando Cada URL Sem Rastrear o Site Inteiro
Sitemaps XML listam as URLs de um site, e às vezes quando elas mudaram. Como lê-los corretamente, e por que você nunca deve confiar no lastmod sem verificá-lo.
James Meadow · 29 de setembro de 2026