Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Qui bloque les robots d'exploration IA ? GPTBot, ClaudeBot et consorts sur les 10 000 premiers sites
Nous avons lu le fichier robots.txt des 10 000 premiers domaines. Un site sur cinq bloque au moins un robot d'exploration IA, tandis que presque tous accueillent encore les moteurs de recherche.
Chris Collins · 6 octobre 2026 Le coût d'un User-Agent obsolète : mesurer le décalage des versions de navigateur
Les scrapers codent souvent en dur une version de navigateur et l'oublient. Nous avons interrogé 397 sites majeurs en déclarant des versions de Chrome vieilles de jusqu'à 6,5 ans. Les refus ont augmenté chaque année.
Chris Collins · 5 octobre 2026 Votre cible est-elle bloquable ? Une recherche de pile anti-bot
Avant de créer un scraper, découvrez ce qui protège la cible. Nous avons vérifié les 1 000 principaux domaines : quels fournisseurs anti-bot ils utilisent et comment un client standard s'en est sorti.
Chris Collins · 3 octobre 2026 La sélection de proxy comme problème de bandit manchot
Quelle configuration de proxy la prochaine requête doit-elle utiliser ? Traitez cela comme un problème de bandit. Dans notre simulation, la sélection adaptative s'est approchée à 2% près de la solution optimale a posteriori.
James Meadow · 2 octobre 2026 Concevoir des scrapers idempotents : redémarrer sans dupliquer
Les scrapers plantent. Nous en avons tué un dix fois en plein crawl : une version naïve stockait jusqu'à 4,3 fois plus de lignes, une version idempotente exactement 500. Comment construire la seconde.
Chris Collins · 2 octobre 2026 Encodages de caractères dans les données extraites : détecter les jeux de caractères et corriger le mojibake
Nous avons récupéré 193 pages d'accueil parmi les plus visitées dans six pays. Un défaut courant de Python a corrompu le texte de 37 d'entre elles. Comment décoder les pages extraites comme le font les navigateurs.
Chris Collins · 1 octobre 2026 Conserver la réponse brute : archiver les pages scrapées en WARC pour la relecture
Les parseurs s'améliorent et les extracteurs se cassent, mais une page que vous n'avez pas conservée ne peut pas être analysée à nouveau. Comment stocker les réponses brutes en WARC, avec du code testé et des tailles réelles.
Matt Brown · 1 octobre 2026 Trouver l'API derrière la page : collecter depuis des points de terminaison JSON plutôt que le HTML
De nombreuses pages chargent leurs données sous forme de JSON. Comment trouver le point de terminaison qui les transporte, pourquoi il est souvent lié à la session de la page, et comment le collecter de manière responsable.
Chris Collins · 30 septembre 2026 Les sitemaps comme source de découverte : trouver chaque URL sans explorer tout le site
Les sitemaps XML listent les URL d'un site, et parfois leur date de modification. Comment les lire correctement, et pourquoi il ne faut jamais faire confiance à lastmod sans vérification.
James Meadow · 29 septembre 2026