Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Normaliser les prix, nombres et dates entre les locales
1.234,56 € et $1,234.56 sont tous deux des prix, et 03/04/2026 correspond à deux dates différentes. Comment analyser correctement les valeurs extraites selon la locale, avec du code testé.
James Meadow · 30 septembre 2026 Trouver l'API derrière la page : collecter depuis des points de terminaison JSON plutôt que le HTML
De nombreuses pages chargent leurs données sous forme de JSON. Comment trouver le point de terminaison qui les transporte, pourquoi il est souvent lié à la session de la page, et comment le collecter de manière responsable.
Chris Collins · 30 septembre 2026 Présentation d'IP Info : une API gratuite de géolocalisation IP, sans clé API requise
IP Info est l'API gratuite de géolocalisation IP et ASN de Shifter. Elle fonctionne sur la même base de données que celle utilisée par nos pools de proxys, ne nécessite ni inscription ni clé API, et est prête pour les agents IA.
James Meadow · 29 septembre 2026 Dérive de schéma dans les données extraites : détecter les extracteurs cassés avant vos utilisateurs
Les scrapers plantent rarement lorsqu'un site change. Ils continuent de fonctionner et renvoient des données subtilement erronées. Comment les contrats de données et le profilage par lots détectent la dérive tôt.
Matt Brown · 29 septembre 2026 Les sitemaps comme source de découverte : trouver chaque URL sans explorer tout le site
Les sitemaps XML listent les URL d'un site, et parfois leur date de modification. Comment les lire correctement, et pourquoi il ne faut jamais faire confiance à lastmod sans vérification.
James Meadow · 29 septembre 2026 Extraction par LLM vs sélecteurs : quand laisser un modèle lire la page
Nous avons fait extraire des champs par un grand modèle de langage sur 18 pages d'actualité en ligne, puis évalué le résultat par rapport aux données structurées propres à ces pages. Précision, coût, et quand l'utiliser.
Chris Collins · 28 septembre 2026 Déduplication des données extraites : résolution d'entités pour produits, entreprises et annonces
Le même produit, la même entreprise ou la même annonce apparaît plusieurs fois selon les sources et les exécutions. Comment normaliser les identifiants, faire correspondre les données en toute sécurité à grande échelle et conserver un enregistrement unique et propre.
Matt Brown · 28 septembre 2026 Coût par enregistrement propre : la métrique de scraping que la finance comprend vraiment
Les gigaoctets et le nombre de requêtes ne disent pas à la finance ce que coûtent les données. Comment mesurer le coût par enregistrement propre et par changement utile, et quels leviers l'influencent le plus.
James Meadow · 27 septembre 2026 Détection des changements à grande échelle : comparer des pages web sans se noyer dans le bruit
Les pages changent à chaque chargement : publicités, horodatages, jetons. Comment distinguer les vrais changements du bruit grâce à la normalisation, aux diffs au niveau des champs et au simhash, avec du code testé.
Chris Collins · 27 septembre 2026