Guides, tutoriels et analyses
Découvrez les proxies résidentiels, le web scraping, les stratégies de collecte de données et les meilleures pratiques du secteur avec l'équipe Shifter.
Contagion de sous-réseau : quand une IP bloquée contamine ses voisines
Les listes de blocage et les systèmes de réputation jugent souvent une IP en fonction de ses voisines. Ce que montre la recherche sur le blocage au niveau des plages, ses dommages collatéraux, et comment le détecter.
Le taux d'échec silencieux : quelle part des requêtes réussies renvoie le mauvais contenu
Un HTTP 200 ne signifie pas que vous avez obtenu la page. Ce que la recherche montre sur les pages de blocage, les faux 404 et les défis qui se cachent derrière le succès, et comment mesurer le vôtre.
Créer un Target Health Score : savoir quand un site se retourne contre vous
Les sites bloquent rarement un crawler en une seule fois. Ils lancent d'abord des challenges, des soft-blocks et des ralentissements. Comment transformer ces signaux en un score unique par site, et agir en conséquence.
Planification de crawl sensible aux coûts : dépenser votre budget là où ça change
La majeure partie du budget de recrawl sert à confirmer que rien n'a changé. Comment planifier selon la valeur attendue par coût, et pourquoi les pages qui changent le plus vite ne sont pas le meilleur choix.
Backpressure et contrôle de flux dans les crawlers distribués
Un crawler est un pipeline, et son étage le plus rapide va inonder le plus lent. Comment des files bornées, un travail en mode pull et des limites adaptatives par hôte permettent de garder un crawler stable.
Exécution des scrapers en CI/CD : identifiants proxy, secrets et exécutions de tests
Comment exécuter des scrapers en CI sans divulguer les identifiants proxy ni gaspiller de la bande passante à chaque push : stockage des secrets, niveaux de test, sessions, vérifications de quota et rotation.
Les outils SEO indiquent-ils un vrai volume de recherche ? Trois fournisseurs face à la réalité des SERP
Keyword Planner, Semrush et Ahrefs estiment chacun le volume de recherche différemment. Ce que les tests indépendants ont révélé, et pourquoi le SERP en direct compte plus que le chiffre.
Quels pays sont le plus géobloqués, et par qui
Les pays sanctionnés arrivent en tête de toutes les mesures de géoblocage, mais ils ne racontent pas toute l'histoire. Ce que la recherche révèle sur qui bloque qui, et comment.