Guias, Tutoriais e Insights
Aprenda sobre proxies residenciais, web scraping, estratégias de coleta de dados e as melhores práticas do setor com a equipe do Shifter.
Aprimorando Aplicações PHP com Integração de API de Web Scraping
Adicione dados da web a uma aplicação PHP com uma API de web scraping: um cliente sem dependências com retentativas, extração estruturada e requisições paralelas via curl_multi.
Economia de Retentativas: O Número da Tentativa em Que Repetir Deixa de Compensar
Cada nova tentativa tem menos chance de dar certo que a anterior. Como medir o ponto em que repetir deixa de compensar, usando seus próprios logs e algumas linhas de Python.
Construindo Pipelines de Dados Escaláveis com Node.js e APIs de Web Scraping
Um pipeline Node.js que busca milhares de páginas por meio de uma API de web scraping: concorrência limitada, novas tentativas, saída retomável e um design testado.
Como Usar uma API de Web Scraping: Guia Prático para Iniciantes
Da sua primeira requisição ao JSON estruturado: um guia passo a passo para usar uma API de web scraping, com Python testado, tratamento de erros e as configurações que importam.
Quando Você Deve Alternar IPs de Proxy? Um Framework de Decisão para Sessões, Custo e Taxas de Sucesso
Alternar a cada requisição, manter uma sessão fixa ou usar um IP de ISP estático? Um framework simples para escolher, com base em como suas requisições se relacionam entre si.
Testando Scrapers: Fixtures, Replay e Suítes de Regressão
Scrapers quebram quando os sites mudam, e os testes que acessam o site ao vivo quebram junto. Como testar um scraper com fixtures gravadas, replay e canaries diários.
Seu Scraper Está Lento e Provavelmente Não É o Proxy
Aceleramos um scraper rodando por proxies residenciais 7,5 vezes sem mexer no proxy. Como descobrir para onde o tempo realmente vai, e corrigir isso.
Eficiência de Payload: Qual Parcela de uma Página Raspada É Boilerplate Pelo Qual Você Pagou
Medimos 278 páginas de conteúdo dos 1.000 principais sites. O texto que você quer é cerca de 1% do HTML e uma fração minúscula do que um navegador baixa.