Les crawlers de bureau comme Screaming Frog et Sitebulb envoient des centaines, voire des milliers de requêtes à un même site en peu de temps, toutes depuis une seule adresse IP. Sur votre propre site, c’est rarement un problème. Sur le site d’un concurrent, un grand catalogue e-commerce ou tout site protégé par un pare-feu strict, le crawl s’arrête souvent à mi-chemin : réponses 403 et 429, pages CAPTCHA comptabilisées comme du contenu, ou site qui sert discrètement une version différente à l’IP de votre bureau.
Un proxy règle la question de l’adresse. C’est aussi le moyen d’auditer un site tel que le voient les visiteurs d’un autre pays, ce qui compte pour le SEO international. Ce guide explique quand un audit a réellement besoin d’un proxy, comment le configurer dans les principaux outils, et quels réglages déterminent la réussite du crawl. Il s’inscrit dans notre travail plus large de suivi SEO, où voir les pages depuis le bon endroit représente la moitié du travail.
Quand un audit de site a besoin d’un proxy
Auditer des sites que vous ne contrôlez pas. Audits de concurrents, analyses d’écarts de contenu et audits avant-vente pour des prospects : tous crawlent des sites qui n’ont jamais consenti à votre crawl. Les pare-feu et les CDN limitent le débit par IP, et une rafale de requêtes depuis une seule adresse est le schéma le plus facile à bloquer pour eux.
Vérifier les versions localisées. Les sites redirigent selon le pays, modifient les prix et la devise, et masquent parfois des sections entières en dehors d’un marché. Un crawl depuis votre bureau ne voit jamais qu’une seule version. Crawler via une IP dans chaque pays cible montre ce qu’obtiennent les visiteurs et les internautes locaux, et permet de vérifier si les alternatives hreflang se résolvent réellement. Notre guide sur l’utilisation de hreflang pour trouver toutes les versions linguistiques d’une page couvre cet aspect de l’audit.
Repérer les manipulations liées à la géolocalisation ou au réseau. Certains sites, et de nombreux sites piratés, servent un contenu différent aux réseaux de bureaux et de datacenters et aux internautes connectés depuis chez eux. Crawler depuis des connexions domestiques sur le bon marché est le moyen de voir la vraie version.
Quand vous n’en avez pas besoin. Pour votre propre site, la meilleure solution consiste à ajouter l’adresse IP de votre crawler à la liste d’autorisation de votre pare-feu ou de votre CDN, ou à crawler une copie de préproduction. Un proxy ajoute un coût et un élément supplémentaire à un crawl que vous pouvez simplement autoriser.
Configurer un proxy dans Screaming Frog
Le SEO Spider de Screaming Frog propose un réglage de proxy sous File > Settings > Proxy sur Windows et Linux, et sous Screaming Frog SEO Spider > Settings > Proxy sur macOS. Cochez « Use Proxy Server », saisissez l’adresse et le port du proxy, puis renseignez vos identifiants de proxy.
Trois points tirés de la documentation de Screaming Frog conditionnent son utilisation :
- Un seul serveur proxy peut être configuré. Il n’existe pas de rotation intégrée à partir d’une liste : c’est donc le proxy lui-même qui doit gérer la rotation si vous en avez besoin.
- Vous devez redémarrer l’outil pour que les modifications du proxy prennent effet.
- Il n’y a pas d’exceptions. Soit tout le trafic HTTP et HTTPS du crawler passe par le proxy, soit rien n’y passe.
Cette limite d’un seul proxy explique pourquoi un proxy résidentiel de type passerelle convient bien aux crawlers : vous saisissez un point d’accès unique, et la passerelle décide quelle IP de sortie utilise chaque requête, selon le ciblage indiqué dans votre nom d’utilisateur. Si le crawl échoue immédiatement avec des erreurs d’authentification, notre guide pour corriger les erreurs d’authentification proxy 407 recense les causes habituelles.
Configurer un proxy dans Sitebulb
Dans Sitebulb, ouvrez Settings depuis la navigation supérieure et allez dans l’onglet Proxy. Ces réglages sont globaux : ils deviennent la valeur par défaut de chaque nouvel audit que vous lancez. Pensez à désactiver le proxy avant d’auditer vos propres sites, sinon ces audits passeront eux aussi par lui.
Les autres outils d’audit suivent le même principe : un champ de proxy unique dans les paramètres de l’application ou du projet. Les crawlers dans le cloud fonctionnent généralement depuis leurs propres serveurs et n’acceptent aucun proxy, ce qui explique en partie pourquoi les crawlers de bureau restent courants pour l’analyse de la concurrence.
Rotatif ou persistant : choisir le type de session
Avec une passerelle, vous choisissez si chaque requête obtient une nouvelle IP de sortie ou si le crawl conserve la même IP pendant un certain temps.
La rotation à chaque requête répartit le crawl sur de nombreuses adresses, si bien qu’aucune IP n’envoie assez de trafic pour déclencher une limite de débit. Elle fonctionne bien sur les pages statiques et les grands catalogues sans connexion et avec peu de cookies.
Les sessions persistantes conservent la même IP pendant une durée définie. Utilisez-les lorsque le site lie les cookies, les choix de consentement ou le pays sélectionné à la session, ou lorsqu’un changement d’IP en cours de crawl déclenche de nouvelles vérifications anti-bots. Choisissez une durée de session plus longue qu’une rafale typique du crawl, afin que l’IP ne change pas pendant le chargement de pages liées.
Notre guide de décision sur la rotation des IP de proxy examine ce compromis plus en détail. Pour les audits localisés, ajoutez le pays, et si nécessaire la ville, au nom d’utilisateur du proxy afin que chaque requête sorte sur le marché que vous auditez.
Les réglages de crawl qui comptent plus que le proxy
Un proxy change l’origine des requêtes. Il ne rend pas acceptable un crawl agressif, et plusieurs réglages du crawler comptent tout autant.
Vitesse. Screaming Frog crawle par défaut avec 5 threads et permet de plafonner le crawl en URL par seconde sous Configuration > Speed. Sur le site de quelqu’un d’autre, gardez un rythme bas et laissez le crawl prendre plus de temps. Un crawl rapide réparti sur de nombreuses IP reste un crawl rapide pour le serveur qui le reçoit.
User agent. Sous Configuration > User-Agent, vous pouvez crawler en tant que navigateur ou en tant que Googlebot. Un user agent Googlebot provenant d’une IP qui n’appartient pas à Google se repère facilement, et les sites qui vérifient les robots le jugeront suspect. Pour les audits de concurrents, un user agent de navigateur classique est le choix le plus sûr.
Ce que vous récupérez. Le trafic résidentiel est généralement facturé au Go. Images, polices, vidéos et scripts peuvent représenter l’essentiel du poids d’une page. Si l’audit porte sur le HTML, les titres, les liens et les codes de statut, excluez les types de ressources dont vous n’avez pas besoin. Le rendu JavaScript charge toutes les ressources qu’un navigateur chargerait : activez-le uniquement pour les sections qui en ont besoin.
Robots.txt. Le respect du robots.txt est activé par défaut dans les deux outils. Conservez ce réglage pour les sites qui ne vous appartiennent pas.
FAQ
Screaming Frog peut-il faire tourner les proxies ?
Pas à partir d’une liste. Screaming Frog n’accepte qu’un seul serveur proxy. Pour faire tourner les IP, pointez-le vers une passerelle proxy qui attribue une nouvelle IP de sortie à chaque requête ou à chaque session.
Ai-je besoin d’un proxy pour crawler mon propre site ?
Généralement non. Autoriser l’IP de votre crawler dans votre pare-feu ou votre CDN est plus simple et moins coûteux. N’utilisez un proxy sur votre propre site que si vous devez le voir depuis un autre pays ou un autre réseau.
Quel type de proxy fonctionne le mieux pour les crawlers SEO ?
Les proxies résidentiels sont les plus fiables pour les sites dotés d’une protection anti-bots stricte et pour voir les versions localisées, car les requêtes proviennent de connexions domestiques dans le pays choisi. Les proxies datacenter sont moins chers et peuvent convenir aux sites peu protégés.
Pourquoi mon crawl affiche-t-il des erreurs 403 ou 429 ?
Le site bloque vos requêtes ou en limite le débit. Réduisez d’abord la vitesse de crawl, puis crawlez via des IP rotatives si les limites s’appliquent par adresse.
En résumé
Les crawlers de bureau envoient chaque requête depuis une seule IP, ce qui convient pour votre propre site mais pose problème pour tous les autres. Pour les audits de concurrents et les audits internationaux, pointez Screaming Frog ou Sitebulb vers un point d’accès de passerelle unique, choisissez des sessions rotatives ou persistantes selon le site, ciblez le pays que vous auditez, et gardez un crawl lent, concentré sur les pages et les ressources dont vous avez réellement besoin.