Guias, Tutoriais e Insights
Aprenda sobre proxies residenciais, web scraping, estratégias de coleta de dados e as melhores práticas do setor com a equipe do Shifter.
Pare de Fazer Parsing de HTML: Extraindo Dados Estruturados de JSON-LD e Dados Incorporados
A maioria das páginas já traz dados legíveis por máquina. Como extrair JSON-LD e JSON incorporado em vez de seletores frágeis, e o que fazer quando os dados estão incompletos.
Matt Brown · 26 de setembro de 2026 robots.txt, Opt-Outs de IA e Sinais de Reserva: O Que os Coletores de Dados da Web Devem Respeitar em 2026
O robots.txt agora tem peso legal na UE, e novos sinais de IA estão se espalhando. O que cada um significa, o que os crawlers de IA respeitam e como as equipes de dados devem responder.
James Meadow · 26 de setembro de 2026 Como as Marcas Constroem Provas Válidas em Tribunal a Partir de Anúncios de Produtos Falsificados Online
Encontrar um anúncio de produto falsificado é fácil. Prová-lo depois não é. Como capturar, gerar hash, registrar data e hora e preservar provas de anúncios que se sustentem em tribunal.
Chris Collins · 25 de setembro de 2026 Verificando Alegações de ESG com Evidências Públicas da Web
As novas regras da UE sobre alegações verdes entram em vigor a partir de 27 de setembro de 2026. Um método prático para verificar alegações de sustentabilidade em relação a evidências públicas, e acompanhar mudanças.
Matt Brown · 25 de setembro de 2026 Monitorando a Presença Pública de Seus Fornecedores: Um Método Prático de Coleta
O risco de fornecedores geralmente aparece publicamente antes de chegar a uma auditoria. Um método passo a passo para monitorar listas de sanções, registros, sites e notícias locais.
James Meadow · 25 de setembro de 2026 Companhias aéreas e hotéis cotam preços diferentes por país de saída? Nós verificamos
Carregamos as mesmas tarifas da Ryanair e preços de hotéis do Booking.com de seis países usando IPs residenciais. O que mudou, o que não mudou e o que não conseguimos acessar.
Chris Collins · 24 de setembro de 2026 Dia Útil, Fim de Semana, Feriado: Como as Taxas de Bloqueio Mudam com o Calendário
Ninguém publica taxas de bloqueio de scraper por dia da semana. O que os dados de bots, feriados e eventos de pico mostram sobre por que elas mudam, e como medir seu próprio calendário.
Matt Brown · 24 de setembro de 2026 Contágio de Sub-rede: Quando um IP Bloqueado Contamina Seus Vizinhos
Listas de bloqueio e sistemas de reputação frequentemente julgam um IP pelos seus vizinhos. O que a pesquisa mostra sobre o bloqueio em nível de faixa, seus danos colaterais e como identificá-lo.
James Meadow · 23 de setembro de 2026 A Taxa de Falha Silenciosa: Qual Parcela das Requisições Bem-sucedidas Retorna o Conteúdo Errado
Um HTTP 200 não significa que você recebeu a página. O que a pesquisa mostra sobre páginas de bloqueio, soft 404s e desafios escondidos atrás do sucesso, e como medir o seu próprio.
Chris Collins · 23 de setembro de 2026