La plupart des guides sur les proxies résidentiels s’arrêtent au pays, à l’état et à la ville. C’est suffisant pour neuf scrapes sur dix. Le dixième, c’est là que le ciblage ASN fait la différence : entre un proxy résidentiel qui ressemble à un abonné Comcast à Atlanta et un qui ressemble simplement à “une IP américaine”.
Voici un guide pratique du ciblage par ASN sur les proxies résidentiels. Ce qu’est réellement un ASN, pourquoi il est important spécifiquement pour le pool résidentiel, quand y recourir et quand le ciblage par pays ou par ville suffit, et comment utiliser le flag asn sur la gateway résidentielle Shifter avec des exemples concrets.
Si vous ne devez retenir qu’une phrase : le ciblage ASN vous permet de choisir l’opérateur derrière l’IP, ce qui compte dès lors que le site que vous scrapez se soucie du FAI de ses visiteurs.
Qu’est-ce qu’un ASN, en termes simples
Un Autonomous System Number est l’identifiant qui indique “ce bloc d’adresses IP appartient à cet opérateur réseau”. Chaque FAI, chaque opérateur mobile, chaque fournisseur cloud, chaque grande entreprise possède au moins un ASN. AT&T, c’est AS7018. Comcast, c’est AS7922. Charter Communications, c’est AS20115. Vodafone (le FAI grand public britannique), c’est AS5378. Deutsche Telekom, c’est AS3320. Ces numéros sont attribués par les registres internet régionaux (ARIN, RIPE, APNIC, LACNIC, AFRINIC) et ne changent pas.
Lorsque des paquets traversent l’internet public, BGP, le protocole de routage, remonte chaque IP jusqu’à l’ASN qui l’annonce. N’importe qui peut rechercher l’ASN derrière une IP avec des outils gratuits comme l’outil BGP de Hurricane Electric ou la base de données RIPE. Pour une IP résidentielle comme 73.158.97.42, la recherche renvoie AS7922 (Comcast Cable Communications). Pour une IP de datacenter comme 52.0.0.1, on obtient AS14618 (Amazon). L’ASN est ce qui permet de distinguer une vraie connexion grand public d’une ferme de serveurs.
Ce signal unique, la catégorie ASN, est la caractéristique la plus fiable qu’utilisent les systèmes anti-bot pour séparer le trafic résidentiel du trafic datacenter. Cloudflare, Akamai, DataDome, PerimeterX : tous évaluent le trafic en partie en vérifiant si l’ASN source appartient à un hébergeur connu ou à un vrai FAI. C’est pourquoi une IP véritablement résidentielle passe là où une IP datacenter se heurte à un CAPTCHA, et c’est pourquoi l’anatomie d’une IP résidentielle commence par le réseau qui la possède.
Pourquoi l’ASN est important spécifiquement pour les proxies résidentiels
Tout l’intérêt d’un proxy résidentiel est que l’IP soit indiscernable d’une vraie connexion grand public. Le ciblage par pays suffit pour la plupart des cas d’usage : une IP résidentielle américaine est une IP résidentielle américaine, qu’elle soit sur Comcast ou Verizon. Pour “scraper ce catalogue réservé aux États-Unis sans se faire bloquer”, le pays suffit.
Mais il existe un ensemble non négligeable de scrapes où le site lui-même lit l’ASN et modifie ce qu’il affiche. C’est là que le ciblage par ASN cesse d’être un simple confort.
Routage et contenu spécifiques à l’opérateur. Les services de streaming, les réseaux publicitaires et certains sites de vente au détail servent des contenus différents, des prix différents ou des stocks différents selon le FAI du visiteur. Un outil de monitoring qui veut voir “ce qu’un abonné AT&T au Texas voit sur cette page” ne peut pas le simuler avec une IP résidentielle américaine générique : il lui faut une IP AS7018 que la page route réellement comme un visiteur AT&T.
Vérification publicitaire par FAI. Les annonceurs qui diffusent des campagnes via des placements groupés par opérateur (partenariats TV de T-Mobile, unités publicitaires distribuées par les FAI) doivent vérifier leur création sur le réseau propre de l’opérateur. La publicité ne s’affichera pas correctement, voire pas du tout, depuis une IP qui n’est pas sur l’ASN de cet opérateur.
Contournement de géo-restrictions basées sur l’ASN, pas seulement le pays. Certains sites d’information et portails gouvernementaux géo-clôturent par FAI, et non par pays, car ils souhaitent restreindre l’accès aux “vrais abonnés des opérateurs nationaux”. Une IP résidentielle parfaitement correspondante au pays mais sur un opérateur différent peut quand même recevoir un 403 dans ces cas.
Tests de qualité de service. Les équipes SaaS qui testent les performances depuis le réseau d’un FAI spécifique (“comment notre application se charge-t-elle depuis une connexion DSL Vodafone à Madrid”) ont besoin d’un trafic qui provient réellement de cet ASN, sinon la latence, le MTU et le profil des équipements intermédiaires ne correspondront pas.
Recherche anti-fraude. Les équipes de protection de marque qui enquêtent sur un schéma de fraude ont souvent besoin de reproduire du trafic depuis un ASN spécifique pour confirmer si le fraudeur opère depuis une vraie connexion grand public ou depuis l’ASN d’un fournisseur de proxies connu.
Aucun de ces cas n’est théorique : ce sont tous des raisons pour lesquelles nous exposons l’ASN comme flag de ciblage de premier ordre sur la gateway résidentielle, et des raisons pour lesquelles un proxy limité au pays est le mauvais outil pour ce travail.
Quand vous n’avez pas besoin du ciblage ASN
C’est la partie que la plupart des articles passent sous silence. Le ciblage ASN est un outil plus précis que le pays, mais il est plus lent, plus coûteux en termes de disponibilité des IP, et vous donne un pool plus restreint avec lequel travailler. Si vous n’en avez pas besoin, ne l’utilisez pas.
Vous n’avez pas besoin du ciblage ASN si :
- Le site que vous scrapez se soucie du pays ou de la ville, pas du FAI. La plupart des e-commerces, la plupart des scrapes de données publiques, la plupart du monitoring SEO, la plupart de l’agrégation de prix.
- Vous effectuez une rotation agressive sur un grand nombre de sessions. L’intérêt de fixer un ASN augmente avec l’utilisation de chaque IP individuelle. Si vous chargez une page par IP puis passez à la suivante, l’ASN ne changera pas grand-chose.
- Votre goulot d’étranglement est la concurrence, pas le score de confiance. Restreindre à un seul ASN réduit le pool. Si vous utilisez déjà 80% des IP disponibles du pool national, vous vous étranglerez avant que la correspondance ASN vous apporte quoi que ce soit.
- Vous voulez simplement du “résidentiel”. Le pool résidentiel est résidentiel par définition. L’ASN est déjà celui d’un FAI grand public. Vous n’avez pas besoin de préciser lequel si cela ne vous importe pas.
La bonne façon d’y penser : le pays vous apporte la confiance. L’ASN vous apporte une identité spécifique au sein de cette bande de confiance. La plupart des charges de travail ont besoin du premier, pas du second.
Comment utiliser le flag asn sur la gateway Shifter
La gateway résidentielle Shifter accepte des flags de ciblage dans le nom d’utilisateur. Le flag pour l’ASN est asn. L’ordre des flags n’a pas d’importance ; vous pouvez combiner asn avec country, state, city, sid et ttl dans n’importe quel ordre.
L’appel le plus basique avec ASN uniquement :
curl -x customer-USERNAME-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.orgCela renvoie une IP résidentielle dont l’ASN annonçant est AS7922, Comcast Cable Communications. Aucune contrainte de pays, aucune ville. Si vous souhaitez restreindre à une IP Comcast dans un pays spécifique (Comcast opère uniquement aux États-Unis, mais le schéma se généralise), ajoutez le flag country :
curl -x customer-USERNAME-country-us-asn-7922:PASSWORD@p.shifter.io:443 https://api.ipify.orgLa même IP peut être persistante pour une session. Ajoutez un sid (n’importe quelle chaîne que vous générez, la gateway l’utilise comme identifiant de session opaque) et un ttl en secondes : la gateway maintiendra la même IP Comcast pendant la durée de ce TTL pour cet identifiant de session :
curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \ https://target-site.example/page-1curl -x customer-USERNAME-country-us-asn-7922-sid-9f3a2b7c-ttl-900:PASSWORD@p.shifter.io:443 \ https://target-site.example/page-2Les deux requêtes proviennent de la même IP résidentielle, de la même source ayant le profil d’un abonné Comcast, pendant 900 secondes au maximum. Passé ce délai, la gateway effectue une rotation tout en conservant la contrainte ASN, de sorte que l’IP suivante est toujours sur AS7922.
Les quatre protocoles sont pris en charge sur le même endpoint : HTTP, HTTPS, SOCKS5h, SOCKS5. Le nom d’utilisateur et le mot de passe sont constants ; le ciblage est défini par requête dans le nom d’utilisateur.
Pour la référence complète des flags et les détails d’authentification, la documentation de la gateway couvre tout.
Les ASN des FAI grand public les plus courants à connaître
Une référence rapide pour les ASN qui reviennent le plus souvent dans les scrapes réels. Ce sont les ASN annonçants pour la partie haut débit grand public de chaque opérateur ; certains opérateurs ont également des ASN distincts pour l’hébergement ou le transit, qui ne sont pas ceux que vous souhaitez pour le ciblage résidentiel.
| Opérateur | ASN | Pays |
|---|---|---|
| Comcast Cable | AS7922 | US |
| AT&T Internet Services | AS7018 | US |
| Charter Communications | AS20115 | US |
| Verizon (Fios) | AS701 | US |
| Cox Communications | AS22773 | US |
| T-Mobile US (Home Internet) | AS21928 | US |
| British Telecom (BT) | AS2856 | UK |
| Sky Broadband | AS5607 | UK |
| Virgin Media | AS5089 | UK |
| Vodafone UK | AS5378 | UK |
| Deutsche Telekom | AS3320 | DE |
| Vodafone Germany | AS3209 | DE |
| Free SAS | AS12322 | FR |
| Orange France | AS3215 | FR |
| Telefónica España | AS3352 | ES |
| Telecom Italia | AS3269 | IT |
| KDDI | AS2516 | JP |
| NTT Communications | AS4713 | JP |
| Bell Canada | AS577 | CA |
| Rogers | AS812 | CA |
Vous pouvez vérifier chacun de ces ASN sur bgp.he.net avant de les utiliser en production. Les attributions d’ASN sont stables, mais une vérification rapide de 30 secondes vaut la peine la première fois que vous ciblez un nouvel opérateur.
Combiner l’ASN avec d’autres flags
Les flags de ciblage se composent librement. Les combinaisons qui reviennent en pratique :
country + asn. La plus courante. Fixe à la fois le pays et l’opérateur au sein de ce pays. Utile pour tout test nécessitant “cet opérateur dans ce pays”.
country + state + asn. Pour les opérateurs américains qui opèrent à l’échelle nationale, cela restreint à “les IP Comcast au Texas”. Notez que tous les ASN n’ont pas de couverture dans chaque état, donc une contrainte trop forte peut réduire le pool à zéro.
country + city + asn. Encore plus précis. Fonctionne mieux avec les grands opérateurs dans les grandes villes. N’attendez pas de réponse fonctionnelle pour “Cox à Topeka”.
country + asn + sid + ttl. Session persistante fixée à un opérateur spécifique. Le schéma pour tout flux en plusieurs étapes (connexion, navigation, paiement) qui doit ressembler à une session continue d’un seul abonné.
La règle générale : chaque flag que vous ajoutez réduit le pool d’IP correspondantes. L’ASN est un filtre grossier au niveau du pays (des millions d’IP pour Comcast aux États-Unis) mais devient rapidement précis à mesure que vous ajoutez l’état, puis la ville. Si une requête renvoie 502, la cause la plus fréquente est que la combinaison de flags ne dispose d’aucune IP disponible en ce moment. Supprimez le flag le plus spécifique et réessayez.
Les erreurs que vous rencontrerez et comment y remédier
La gateway Shifter renvoie des codes de statut HTTP standard pour les erreurs au niveau du proxy. Trois méritent d’être connus :
407 Proxy Authentication Required. Votre nom d’utilisateur ou mot de passe est incorrect, ou vous avez utilisé un nom de flag que la gateway ne reconnaît pas. Vérifiez l’orthographe de asn (pas as, pas asn_number) et confirmez le mot de passe.
502 Bad Gateway. Aucune IP ne correspond à votre filtre en ce moment. Soit l’ASN est vide dans notre pool (rare pour les grands ASN grand public ci-dessus, courant pour les plus spécifiques), soit vous avez trop contraint avec country + state + city + asn. Assouplissez une contrainte et réessayez.
504 Gateway Timeout. La cible a mis trop de temps à répondre. Il s’agit presque toujours d’un problème côté site cible, pas côté proxy. Réessayez avec un backoff.
Pour les 407 en particulier : la gateway traite les flags inconnus comme des erreurs d’authentification plutôt que de les ignorer silencieusement. C’est délibéré : cela évite qu’une faute de frappe comme asn-7922a se transforme silencieusement en “aucune contrainte ASN du tout”.
Le ciblage ASN n’est pas magique
Deux mises en garde importantes, car trop de fournisseurs de proxies les esquivent :
L’ASN vous indique quel réseau annonce l’IP, pas comment le site classe l’utilisateur. La plupart des sites lisent l’ASN directement via une base de données IP adossée à BGP, mais certains sites ont leurs propres couches de classification (empreinte TLS, ordre des en-têtes, bases de données de géolocalisation qui divergent de BGP) et une IP AS7922 est nécessaire mais pas suffisante pour être traité comme un utilisateur Comcast. Si vous observez un comportement inattendu avec le bon ASN, vérifiez vos en-têtes, votre profil TLS et votre empreinte avant d’incriminer la correspondance ASN.
La taille des pools varie selon l’ASN. Les grands opérateurs américains disposent d’énormes pools résidentiels. Les FAI européens de taille moyenne et les opérateurs Asie-Pacifique peuvent être plus petits. Si vous avez besoin à la fois d’une forte concurrence et d’un ASN spécifique de petite taille, anticipez-le ; la page de tarification affiche le même tarif au Go quel que soit l’ASN, mais la disponibilité, elle, varie.
FAQ
Comment trouver l’ASN d’un site que je veux scraper ? Vous n’en avez pas besoin : l’ASN du site n’a pas d’importance, c’est l’ASN du visiteur qui compte. Ce que vous voulez généralement, c’est “depuis quel ASN mon trafic proxy doit-il provenir pour ressembler à un vrai utilisateur de ce site ?” Si le site est un service de streaming américain, la réponse est “n’importe quel grand ASN de FAI grand public américain”. Si le site se soucie spécifiquement de l’opérateur, vous pouvez généralement le déterminer en lisant sa politique de géo-restriction ou en testant quelques grands opérateurs pour voir lesquels passent.
Puis-je utiliser le ciblage ASN avec des sessions persistantes ?
Oui. Ajoutez sid-<votre-id-de-session>-ttl-<secondes> au nom d’utilisateur en même temps que asn-<numéro>. La gateway fixe une IP sur cet ASN pour la durée de vie de la session, puis effectue une rotation au sein du même ASN après expiration du TTL.
Le ciblage ASN garantit-il que l’IP est routée via ce FAI ?
L’IP est annoncée par cet ASN via BGP, ce qui constitue la réponse faisant autorité à la question “qui possède cette IP”. C’est ce que les sites lisent lorsqu’ils classifient par opérateur. Ce que le ciblage ASN ne garantit pas, c’est le profil de latence d’un abonné sur ce réseau, le chemin emprunté par les paquets de votre machine jusqu’à la nôtre, ni la localisation géographique au sein de la couverture de l’opérateur. Utilisez country, state ou city pour fixer la géographie.
Le ciblage par ASN est-il différent du ciblage par FAI ? En pratique, non : l’ASN est la façon dont les réseaux s’identifient et dont les sites les lisent. “Ciblage par FAI” est le terme marketing, “ciblage par ASN” est le terme technique. C’est la même fonctionnalité.
Pourquoi le ciblage datacenter ou ISP-static n’utilise-t-il pas les flags ASN de la même façon ? Les proxies datacenter proviennent d’ASN de fournisseurs d’hébergement (AWS, OVH, Hetzner), qui sont précisément les ASN que les systèmes anti-bot signalent, donc il n’y a aucun intérêt à en choisir un. Les proxies résidentiels statiques ISP proviennent d’un partenariat FAI spécifique que nous maintenons déjà, donc l’ASN est implicite dans le forfait que vous avez souscrit. Le ciblage ASN est pertinent spécifiquement pour le pool résidentiel rotatif, où il existe de nombreux opérateurs possibles dans n’importe quel pays.
L’utilisation du ciblage ASN enfreint-elle les conditions d’utilisation d’un fournisseur ? Le ciblage ASN est un concept de routage, pas une technique de contournement. Vous demandez à un proxy résidentiel d’envoyer du trafic depuis l’espace d’adresses IP d’un opérateur spécifique, ce qui est exactement ce que font les proxies résidentiels, simplement de façon plus précise. Les mêmes règles s’appliquent qu’à tout web scraping : respectez le robots.txt lorsqu’il est contraignant, ne dégradez pas la cible, respectez les limites de débit, et ne violez pas les conditions d’utilisation spécifiques qui interdisent l’accès automatisé. Notre politique d’utilisation acceptable fait foi pour ce qui est autorisé sur Shifter.
Quand vraiment y recourir
Le ciblage ASN est un outil de précision. La plupart des scrapes n’en ont pas besoin ; ceux qui en ont besoin ne peuvent vraiment pas s’en passer.
Les questions à se poser avant d’ajouter asn à vos appels de gateway :
- Le site cible modifie-t-il ce qu’il sert selon le FAI du visiteur, ou seulement selon le pays ?
- Est-ce que je teste pour le compte d’un opérateur spécifique ou est-ce que je réalise des mesures segmentées par opérateur ?
- Ai-je suffisamment de budget de concurrence pour que la restriction à un seul ASN ne me crée pas de goulot d’étranglement ?
Si la réponse à l’une de ces questions est oui, le ciblage ASN est le bon outil. Sinon, le pays et la ville feront le même travail avec un pool plus large dans lequel puiser.
Dans tous les cas, la nouvelle gateway résidentielle Shifter intègre le ciblage ASN sur tous les forfaits, sans supplément, sans produit séparé. Activez le flag, pointez vers un ASN d’opérateur réel, et le reste de votre scrape reste identique.