Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Audit d'accessibilité multi-marchés : tester ce que les utilisateurs de chaque pays voient réellement
Un audit de votre page d'accueil américaine ne dit que peu de choses sur votre version allemande ou japonaise. Nous avons audité 23 sites de quatre pays : un quart présentait des problèmes propres à un seul marché.
Votre cible est-elle bloquable ? Une recherche de pile anti-bot
Avant de créer un scraper, découvrez ce qui protège la cible. Nous avons vérifié les 1 000 principaux domaines : quels fournisseurs anti-bot ils utilisent et comment un client standard s'en est sorti.
Surveillance de la parité tarifaire : repérer le sous-cotage de son propre inventaire
Les hôtels perdent des réservations directes lorsque leurs propres chambres apparaissent moins chères ailleurs. Comment surveiller la parité tarifaire sur les canaux et les marchés sans fausses alertes.
La sélection de proxy comme problème de bandit manchot
Quelle configuration de proxy la prochaine requête doit-elle utiliser ? Traitez cela comme un problème de bandit. Dans notre simulation, la sélection adaptative s'est approchée à 2% près de la solution optimale a posteriori.
Concevoir des scrapers idempotents : redémarrer sans dupliquer
Les scrapers plantent. Nous en avons tué un dix fois en plein crawl : une version naïve stockait jusqu'à 4,3 fois plus de lignes, une version idempotente exactement 500. Comment construire la seconde.
Comment détecter les faux avis et la fraude aux avis à grande échelle
Les faux avis sont interdits aux États-Unis, au Royaume-Uni et dans l'UE, et les plateformes en suppriment des centaines de millions. Comment détecter la fraude aux avis sur de nombreux produits, avec du code testé.
Utiliser hreflang pour trouver chaque version linguistique et nationale d'une page
hreflang répertorie chaque version localisée d'une page. Nous avons vérifié comment les plus grands sites l'utilisent, ce qui ne fonctionne pas, et pourquoi certaines versions ne s'ouvrent que depuis l'intérieur d'un pays.
Encodages de caractères dans les données extraites : détecter les jeux de caractères et corriger le mojibake
Nous avons récupéré 193 pages d'accueil parmi les plus visitées dans six pays. Un défaut courant de Python a corrompu le texte de 37 d'entre elles. Comment décoder les pages extraites comme le font les navigateurs.
Conserver la réponse brute : archiver les pages scrapées en WARC pour la relecture
Les parseurs s'améliorent et les extracteurs se cassent, mais une page que vous n'avez pas conservée ne peut pas être analysée à nouveau. Comment stocker les réponses brutes en WARC, avec du code testé et des tailles réelles.