Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Extraction par LLM vs sélecteurs : quand laisser un modèle lire la page
Nous avons fait extraire des champs par un grand modèle de langage sur 18 pages d'actualité en ligne, puis évalué le résultat par rapport aux données structurées propres à ces pages. Précision, coût, et quand l'utiliser.
Chris Collins · 28 septembre 2026 Détection des changements à grande échelle : comparer des pages web sans se noyer dans le bruit
Les pages changent à chaque chargement : publicités, horodatages, jetons. Comment distinguer les vrais changements du bruit grâce à la normalisation, aux diffs au niveau des champs et au simhash, avec du code testé.
Chris Collins · 27 septembre 2026 Arrêtez de parser du HTML : extraire des données structurées depuis JSON-LD et les données intégrées
La plupart des pages contiennent déjà des données lisibles par machine. Comment extraire le JSON-LD et le JSON intégré plutôt que d'utiliser des sélecteurs fragiles, et que faire quand ces données sont incomplètes.
Matt Brown · 26 septembre 2026 Créer un Target Health Score : savoir quand un site se retourne contre vous
Les sites bloquent rarement un crawler en une seule fois. Ils lancent d'abord des challenges, des soft-blocks et des ralentissements. Comment transformer ces signaux en un score unique par site, et agir en conséquence.
Matt Brown · 22 septembre 2026 Planification de crawl sensible aux coûts : dépenser votre budget là où ça change
La majeure partie du budget de recrawl sert à confirmer que rien n'a changé. Comment planifier selon la valeur attendue par coût, et pourquoi les pages qui changent le plus vite ne sont pas le meilleur choix.
James Meadow · 22 septembre 2026 Backpressure et contrôle de flux dans les crawlers distribués
Un crawler est un pipeline, et son étage le plus rapide va inonder le plus lent. Comment des files bornées, un travail en mode pull et des limites adaptatives par hôte permettent de garder un crawler stable.
Chris Collins · 22 septembre 2026 Exécution des scrapers en CI/CD : identifiants proxy, secrets et exécutions de tests
Comment exécuter des scrapers en CI sans divulguer les identifiants proxy ni gaspiller de la bande passante à chaque push : stockage des secrets, niveaux de test, sessions, vérifications de quota et rotation.
Chris Collins · 21 septembre 2026 Comment surveiller les avis et notes des employeurs sur différents sites
Les avis d'employeurs influencent les candidatures. Comment surveiller les notes et thèmes sur les sites d'avis, comparer les concurrents et respecter les règles de chaque site.
James Meadow · 19 septembre 2026 Comment construire des ensembles de données d'entraînement à grande échelle à partir du Web ouvert
Collecter des pages est la partie facile. Comment transformer un crawl du Web ouvert en corpus d'entraînement : frontière, opt-outs, extraction, filtrage, déduplication et décontamination.
Matt Brown · 18 septembre 2026