Les fournisseurs de proxy mettent en avant la taille de leur pool : des millions d’IP, des centaines de millions. La taille du pool compte, mais elle masque une deuxième question tout aussi importante pour la fiabilité : de combien de réseaux différents proviennent ces adresses. Un pool de dix millions d’IP réparties sur une poignée de réseaux se comporte très différemment d’un pool réparti sur des milliers de réseaux.
Chaque adresse IP appartient à un réseau exploité par une organisation, identifié par un numéro de système autonome (ASN). Pour les proxies résidentiels, l’ASN correspond généralement à un fournisseur d’accès internet grand public. Cet article explique pourquoi la répartition d’un pool entre ASN est importante, comment la mesurer à partir d’un échantillon de sorties, et comment interpréter les chiffres.
Pourquoi la diversité des ASN est importante
Les sites web et les systèmes anti-bot jugent rarement une adresse IP isolément. Ils la jugent dans son contexte, et le réseau est l’un des éléments de contexte les plus forts dont ils disposent.
- Les blocages se propagent par réseau. Quand un site détecte des abus provenant de nombreuses adresses d’un même réseau, il peut limiter le débit ou soumettre à un challenge l’ensemble du réseau. Un pool concentré sur quelques ASN y est exposé : une seule décision au niveau réseau affecte une large part de votre trafic.
- La réputation est partagée. Les adresses d’un même réseau héritent en partie de sa réputation. Un pool diversifié est moins affecté quand la réputation d’un réseau se dégrade.
- Les réseaux d’hébergement trahissent le pool. Un pool « résidentiel » comportant une part significative d’adresses sur des réseaux d’hébergement ou de datacenter n’est pas pleinement résidentiel, et les sites traitent ces adresses en conséquence.
- Le réalisme local exige des réseaux locaux. Si vous collectez des données telles qu’elles sont vues depuis un pays ou une ville, les sorties doivent être réparties sur les fournisseurs réellement utilisés par les habitants de cet endroit.
C’est aussi pourquoi cibler un réseau précis est utile pour certaines tâches. Notre guide sur le ciblage d’ASN pour les proxies résidentiels traite des cas où il convient de fixer les requêtes sur un seul fournisseur, ce qui est le cas inverse : une concentration délibérée pour un test spécifique.
À quoi doit ressembler un pool « diversifié »
Les marchés internet réels sont concentrés. Dans la plupart des pays, quelques grands fournisseurs desservent la majorité des foyers, avec une longue traîne de réseaux régionaux et mobiles plus petits derrière eux. Un pool résidentiel sain reflète cette forme : quelques grands FAI grand public portant une bonne part des sorties, et de nombreux réseaux plus petits derrière eux.
L’objectif n’est donc pas d’obtenir des parts parfaitement égales entre réseaux. Il s’agit de deux choses :
- Aucun réseau unique ne domine au-delà de ce que le marché internet de ce pays justifierait.
- Une longue traîne existe : de nombreux réseaux distincts, de sorte qu’un blocage sur l’un d’entre eux n’affecte qu’une faible part du trafic.
Comment la mesurer
Vous ne pouvez pas voir l’ensemble du pool d’un fournisseur, mais vous pouvez l’échantillonner. Envoyez des requêtes via la passerelle rotative, enregistrez l’IP et le réseau de sortie de chaque requête, et calculez des indicateurs de concentration sur l’échantillon.
Quatre indicateurs couvrent l’essentiel de ce qui compte :
| Indicateur | Ce qu’il mesure | Comment l’interpréter |
|---|---|---|
| ASN distincts | Combien de réseaux apparaissent dans l’échantillon | Plus c’est élevé, mieux c’est ; augmente avec la taille de l’échantillon |
| Part du top 1 et du top 5 | La part des sorties sur le plus grand réseau, et sur les cinq plus grands | Plus c’est faible, moins l’exposition aux décisions d’un seul réseau est forte |
| Indice de Herfindahl-Hirschman (HHI) | La somme des parts au carré, de près de 0 (dispersé) à 1 (un seul réseau) | La mesure standard de la concentration de marché |
| Nombre effectif d’ASN | 1 / HHI : à combien de réseaux de taille égale l’échantillon se compare | Le chiffre unique le plus intuitif |
Ajoutez une vérification supplémentaire, qui ne porte pas sur la concentration : la part des sorties sur des réseaux non résidentiels. Pour un pool résidentiel, elle devrait être proche de zéro.
Le module ci-dessous échantillonne des sorties via un proxy en utilisant ip-info.com, notre API gratuite de géolocalisation d’IP, qui renvoie pour chaque adresse son ASN, le nom du réseau et s’il s’agit d’un réseau résidentiel ou d’hébergement, et calcule les indicateurs :
from collections import Counter
import requests
def sample_exit(proxy_url, get=requests.get):
"""One exit through a rotating proxy: its IP, network (ASN) and network type."""
info = get("http://ip-info.com/json", proxies={"http": proxy_url, "https": proxy_url}, timeout=20).json()
return {"ip": info["ip"], "asn": info["asn"], "as_name": info["as_name"], "user_type": info.get("user_type")}
def diversity(exits):
"""How spread out a sample of exits is across networks."""
exits = list({e["ip"]: e for e in exits}.values()) # count each IP once
counts = Counter(e["asn"] for e in exits)
n = len(exits)
shares = sorted((c / n for c in counts.values()), reverse=True)
hhi = sum(s * s for s in shares) # Herfindahl-Hirschman index, 0 to 1
return {
"unique_ips": n,
"asns": len(counts),
"top1_share": round(shares[0], 3),
"top5_share": round(sum(shares[:5]), 3),
"hhi": round(hhi, 4),
"effective_asns": round(1 / hhi, 1), # as many equal-sized networks as this
"non_residential_share": round(sum(e["user_type"] != "residential" for e in exits) / n, 3),
}Deux échantillons illustratifs de 1 000 sorties montrent à quel point un pool étendu et un pool restreint se lisent différemment (données synthétiques, pas de fournisseurs réels) :
import random
from asn_diversity import diversity
random.seed(7)
# Illustrative samples of 1,000 exits from two pools (synthetic, not real providers)
broad = [{"ip": f"ip{i}", "asn": random.choice(range(60)), "user_type": "residential"} for i in range(1000)]
narrow = [{"ip": f"ip{i}", "asn": random.choice([1, 1, 1, 1, 2, 2, 3, 4]), "user_type": "residential"}
for i in range(1000)]
print("broad ", diversity(broad))
print("narrow", diversity(narrow))broad {'unique_ips': 1000, 'asns': 60, 'top1_share': 0.028, 'top5_share': 0.125, 'hhi': 0.0176, 'effective_asns': 57.0, 'non_residential_share': 0.0}
narrow {'unique_ips': 1000, 'asns': 4, 'top1_share': 0.506, 'top5_share': 1.0, 'hhi': 0.3466, 'effective_asns': 2.9, 'non_residential_share': 0.0}Le pool étendu se comporte comme 57 réseaux de taille égale, et son plus grand réseau ne porte que moins de 3 % des sorties. Le pool restreint se comporte comme moins de trois : la moitié de toutes les sorties se trouve sur un seul réseau, et chaque sortie se trouve sur l’un des quatre réseaux. Sur le pool restreint, un seul blocage au niveau réseau sur le plus grand ASN arrêterait la moitié de vos requêtes.
Obtenir un échantillon fiable
Quelques précautions permettent de garder une mesure honnête :
- Échantillonnez par pays. La diversité n’a de sens qu’au sein d’un marché donné. Mélanger les pays gonfle le nombre d’ASN sans rien vous apprendre sur aucun d’entre eux.
- Utilisez suffisamment de requêtes. Le nombre d’ASN distincts continue d’augmenter avec la taille de l’échantillon, comparez donc les pools à taille d’échantillon égale. Un millier de sorties par pays constitue un point de départ raisonnable ; les parts et le HHI se stabilisent plus vite que le compte.
- Comptez chaque IP une seule fois. Les pools rotatifs peuvent renvoyer la même adresse plusieurs fois. Le module ci-dessus la déduplique par IP.
- Étalez l’échantillon dans le temps. Les pools résidentiels évoluent au fil de la journée à mesure que les appareils se connectent et se déconnectent. Un échantillonnage sur plusieurs heures donne une image plus fidèle qu’une seule rafale.
- Utilisez la même source de lookup pour chaque pool. Des bases de géolocalisation différentes peuvent attribuer une adresse à des réseaux légèrement différents.
Ce que cela implique pour choisir un fournisseur
La taille du pool et la diversité des ASN répondent à des questions différentes. La taille vous indique combien d’adresses vous pourriez obtenir ; la diversité vous indique à quel point votre trafic est exposé aux décisions d’un seul réseau. Lors de l’évaluation des fournisseurs, demandez les deux, et vérifiez-les avec votre propre échantillon dans les pays qui vous intéressent.
Le même raisonnement s’applique aux IP fixes. Si vous achetez des proxies ISP pour des sessions longues, les répartir sur plusieurs fournisseurs et villes évite de placer toutes vos identités sur un seul réseau. Notre guide sur comment acheter des proxies ISP sans gaspiller d’argent inclut un script pour vérifier un lot d’IP d’essai, et nos proxies ISP vous permettent de choisir la ville et le FAI pour chaque IP. La façon dont un fournisseur sourcing ses adresses influe aussi sur la diversité ; notre article explicatif sur comment les fournisseurs sourcent de manière éthique les IP résidentielles détaille les questions à poser.
FAQ
Qu’est-ce que la diversité des ASN dans un réseau de proxy ?
C’est la mesure de la répartition des adresses IP d’un pool de proxy entre différents réseaux (systèmes autonomes). Un pool diversifié comporte de nombreux réseaux sans qu’aucun ne domine ; un pool concentré regroupe la plupart des adresses sur quelques-uns.
Pourquoi la diversité des ASN est-elle importante pour le scraping ?
Les sites agissent souvent contre des réseaux entiers, et non contre des adresses isolées. Si la plupart de vos sorties partagent un même réseau, un seul blocage au niveau réseau peut affecter une large part de vos requêtes.
Comment mesurer la diversité des ASN ?
Envoyez un échantillon de requêtes via le proxy, enregistrez l’ASN de chaque sortie, et calculez la part des plus grands réseaux, l’indice de Herfindahl-Hirschman et le nombre effectif de réseaux. Échantillonnez par pays, dans la durée, et à taille égale pour chaque pool comparé.
Un pool de proxy plus grand est-il toujours plus diversifié ?
Non. Un grand pool peut rester concentré sur quelques réseaux. La taille du pool et la diversité des réseaux sont des mesures distinctes.
En résumé
Le nombre d’IP mesure la taille d’un pool ; la diversité des ASN mesure sa résilience. Échantillonnez les sorties par pays, comptez chaque IP une seule fois, et examinez le nombre effectif de réseaux, la part du réseau dominant et la part des sorties non résidentielles. Un pool résidentiel sain reflète le marché internet local : quelques grands FAI grand public et une longue traîne derrière eux, sans qu’aucun réseau unique ne porte une part disproportionnée de votre trafic.