Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Améliorer les applications PHP grâce à l'intégration d'une API de web scraping
Ajoutez des données web à une application PHP avec une API de web scraping : un client sans dépendance avec tentatives, extraction structurée et requêtes parallèles via curl_multi.
Économie des tentatives : le numéro de tentative à partir duquel réessayer cesse d'être rentable
Chaque nouvelle tentative a moins de chances de réussir que la précédente. Comment déterminer le moment où réessayer cesse d'être rentable, à partir de vos propres logs et de quelques lignes de Python.
Construire des pipelines de données évolutifs avec Node.js et des API de web scraping
Un pipeline Node.js qui récupère des milliers de pages via une API de web scraping : concurrence limitée, nouvelles tentatives, sortie reprenable et une conception testée.
Comment utiliser une API de web scraping : guide pas à pas pour débutants
De votre première requête au JSON structuré : un guide étape par étape pour utiliser une API de web scraping, avec du Python testé, la gestion des erreurs et les paramètres qui comptent.
Quand faut-il faire tourner les IP proxy ? Un cadre de décision pour les sessions, le coût et les taux de réussite
Tourner à chaque requête, conserver une session persistante, ou garder une IP ISP fixe ? Un cadre simple pour choisir, basé sur la manière dont vos requêtes sont liées entre elles.
Tester les scrapers : fixtures, replay et suites de régression
Les scrapers cassent quand les sites changent, et les tests qui ciblent le site en direct cassent avec eux. Comment tester un scraper avec des fixtures enregistrées, du replay et des canaris quotidiens.
Votre scraper est lent et ce n'est probablement pas le proxy
Nous avons accéléré un scraper fonctionnant via des proxys résidentiels 7,5 fois sans toucher au proxy. Comment trouver où le temps est réellement perdu, et y remédier.
Efficacité de la charge utile : quelle part d'une page scrapée est du code répétitif que vous avez payé
Nous avons mesuré 278 pages de contenu parmi les 1 000 premiers sites. Le texte que vous voulez représente environ 1% du HTML et une infime part de ce qu'un navigateur télécharge.