Diversité des ASN dans les pools de proxys résidentiels : comment la mesurer

Les fournisseurs de proxys mettent en avant la taille de leur pool : des millions d’IP, voire des centaines de millions. La taille du pool compte, mais elle cache une seconde question tout aussi importante pour la fiabilité : de combien de réseaux différents proviennent ces adresses. Un pool de dix millions d’IP réparties sur une poignée de réseaux se comporte très différemment d’un pool réparti sur des milliers de réseaux.

La diversité des ASN mesure à quel point les adresses d’un pool de proxys sont réparties sur des réseaux différents. Chaque adresse IP appartient à un réseau géré par une organisation et identifié par un numéro de système autonome (ASN). Un pool diversifié tire ses sorties de nombreux réseaux, sans qu’aucun ne représente une part disproportionnée ; un pool concentré repose principalement sur quelques-uns.

Pour les proxies résidentiels, l’ASN correspond généralement à un fournisseur d’accès internet grand public. Cet article explique pourquoi la répartition d’un pool entre les ASN est importante, comment la mesurer à partir d’un échantillon de sorties avec un script Python gratuit, et comment interpréter les chiffres, en s’appuyant sur des données réelles issues de notre propre benchmark.

Pourquoi la diversité des ASN compte pour la fiabilité des proxys

Les sites web et les systèmes anti-bot jugent rarement une adresse IP isolément. Ils la jugent dans son contexte, et le réseau constitue l’un des indices de contexte les plus forts dont ils disposent.

• Les blocages se propagent par réseau. Lorsqu’un site détecte des abus provenant de nombreuses adresses sur un même réseau, il peut limiter le débit ou mettre au défi l’ensemble du réseau. Un pool concentré sur quelques ASN y est exposé : une décision prise au niveau d’un réseau affecte une large part de votre trafic.
• La réputation est partagée. Les adresses d’un même réseau héritent en partie de sa réputation. Un pool diversifié est moins touché lorsque la réputation d’un réseau se dégrade.
• Les réseaux d’hébergement trahissent le pool. Un pool « résidentiel » comportant une part notable d’adresses sur des réseaux d’hébergement ou de centres de données n’est pas entièrement résidentiel, et les sites traitent ces adresses en conséquence.
• Le réalisme local exige des réseaux locaux. Si vous collectez des données telles qu’elles apparaissent depuis un pays ou une ville, les sorties doivent être réparties sur les fournisseurs réellement utilisés par les habitants de cet endroit.

C’est aussi pourquoi cibler un réseau spécifique est utile pour certaines tâches. Notre guide sur le ciblage ASN pour les proxies résidentiels explique quand restreindre les requêtes à un seul fournisseur, ce qui constitue le cas inverse : une concentration délibérée pour un test précis.

À quoi doit ressembler un pool résidentiel diversifié

Les marchés internet réels sont concentrés. Dans la plupart des pays, quelques grands fournisseurs desservent la majorité des foyers, avec derrière eux une longue traîne de réseaux régionaux et mobiles plus petits. Un pool résidentiel sain reflète cette structure : quelques grands FAI grand public portant une bonne part des sorties, et de nombreux réseaux plus petits derrière eux.

L’objectif n’est donc pas d’obtenir des parts parfaitement égales entre réseaux. Il s’agit de deux choses :

1. Aucun réseau unique ne domine au-delà de ce que le marché internet du pays concerné justifierait.
2. Une longue traîne existe : de nombreux réseaux distincts, de sorte qu’un blocage sur l’un d’eux n’affecte qu’une faible part du trafic.

Comment mesurer la diversité des ASN dans un pool de proxys

Vous ne pouvez pas voir l’intégralité du pool d’un fournisseur, mais vous pouvez en échantillonner le contenu. Envoyez des requêtes via la passerelle rotative, enregistrez l’IP et le réseau de sortie de chaque requête, puis calculez des indicateurs de concentration sur l’échantillon.

Quatre indicateurs couvrent l’essentiel :

Indicateur	Ce qu’il mesure	Comment l’interpréter
ASN distincts	Combien de réseaux apparaissent dans l’échantillon	Plus élevé est mieux ; augmente avec la taille de l’échantillon
Part du top 1 et du top 5	La part des sorties sur le plus grand réseau et sur les cinq plus grands	Plus faible signifie moins d’exposition aux décisions d’un seul réseau
Indice de Herfindahl-Hirschman (HHI)	La somme des parts au carré, de proche de 0 (dispersé) à 1 (un seul réseau)	La mesure standard de concentration de marché
Nombre effectif d’ASN	1 / HHI : à combien de réseaux de taille égale l’échantillon se compare	Le chiffre unique le plus intuitif

Ajoutez un autre contrôle qui ne concerne pas la concentration : la part des sorties sur des réseaux non résidentiels. Pour un pool résidentiel, elle doit être proche de zéro.

Enregistrez le module ci-dessous sous le nom asn_diversity.py. Il échantillonne des sorties via un proxy en utilisant ip-info.com, notre API gratuite de géolocalisation d’IP, qui renvoie pour chaque adresse son ASN, le nom du réseau et s’il s’agit d’un réseau résidentiel ou d’hébergement, puis calcule les indicateurs :

# asn_diversity.py
from collections import Counter

import requests


def sample_exit(proxy_url, get=requests.get):
    """One exit through a rotating proxy: its IP, network (ASN) and network type."""
    info = get("http://ip-info.com/json", proxies={"http": proxy_url, "https": proxy_url}, timeout=20).json()
    return {"ip": info["ip"], "asn": info["asn"], "as_name": info["as_name"], "user_type": info.get("user_type")}


def diversity(exits):
    """How spread out a sample of exits is across networks."""
    exits = list({e["ip"]: e for e in exits}.values())          # count each IP once
    counts = Counter(e["asn"] for e in exits)
    n = len(exits)
    shares = sorted((c / n for c in counts.values()), reverse=True)
    hhi = sum(s * s for s in shares)                            # Herfindahl-Hirschman index, 0 to 1
    return {
        "unique_ips": n,
        "asns": len(counts),
        "top1_share": round(shares[0], 3),
        "top5_share": round(sum(shares[:5]), 3),
        "hhi": round(hhi, 4),
        "effective_asns": round(1 / hhi, 1),                    # as many equal-sized networks as this
        "non_residential_share": round(sum(e["user_type"] != "residential" for e in exits) / n, 3),
    }

Deux échantillons illustratifs de 1 000 sorties montrent à quel point un pool large et un pool étroit se lisent différemment (données synthétiques, pas de fournisseurs réels) :

import random

from asn_diversity import diversity

random.seed(7)
# Illustrative samples of 1,000 exits from two pools (synthetic, not real providers)
broad = [{"ip": f"ip{i}", "asn": random.choice(range(60)), "user_type": "residential"} for i in range(1000)]
narrow = [{"ip": f"ip{i}", "asn": random.choice([1, 1, 1, 1, 2, 2, 3, 4]), "user_type": "residential"}
          for i in range(1000)]
print("broad ", diversity(broad))
print("narrow", diversity(narrow))

broad  {'unique_ips': 1000, 'asns': 60, 'top1_share': 0.028, 'top5_share': 0.125, 'hhi': 0.0176, 'effective_asns': 57.0, 'non_residential_share': 0.0}
narrow {'unique_ips': 1000, 'asns': 4, 'top1_share': 0.506, 'top5_share': 1.0, 'hhi': 0.3466, 'effective_asns': 2.9, 'non_residential_share': 0.0}

Le pool large se comporte comme 57 réseaux de taille égale, et son plus grand réseau ne représente pas plus de 3% des sorties. Le pool étroit se comporte comme moins de trois : la moitié de toutes les sorties se trouve sur un seul réseau, et chaque sortie se situe sur l’un des quatre réseaux. Sur le pool étroit, un simple blocage au niveau réseau sur le plus grand ASN arrêterait la moitié de vos requêtes.

Collecter 1 000 sorties réelles via une passerelle

Pour mesurer un pool réel, pointez sample_exit vers une passerelle rotative et collectez l’échantillon en parallèle. Avec Shifter, le pays est indiqué dans le nom d’utilisateur, et chaque requête sans identifiant de session obtient une nouvelle sortie :

from concurrent.futures import ThreadPoolExecutor

from asn_diversity import diversity, sample_exit

PROXY = "http://customer-USERNAME-country-gb:PASSWORD@p.shifter.io:443"


def safe_sample(_):
    try:
        return sample_exit(PROXY)
    except Exception:
        return None                                             # skip the odd timeout


with ThreadPoolExecutor(max_workers=20) as pool:
    exits = [e for e in pool.map(safe_sample, range(1000)) if e]
print(diversity(exits))

Exécutez le même script, avec la même taille d’échantillon et à la même heure, pour chaque fournisseur que vous comparez.

Diversité des sous-réseaux (/24)

Les ASN ne sont pas le seul regroupement qui compte. Les sites bloquent aussi des blocs d’adresses entiers, le plus souvent le sous-réseau /24 (les trois premiers nombres d’une adresse IPv4). Deux sorties sur le même /24 partagent généralement un bâtiment, une rue ou un NAT à l’échelle d’un opérateur, de sorte qu’un blocage sur l’une touche souvent l’autre aussi. Deux lignes ajoutées au même échantillon permettent de les comptabiliser :

subnets = Counter(".".join(e["ip"].split(".")[:3]) for e in exits)
print("distinct /24 subnets:", len(subnets), "largest subnet share:", round(max(subnets.values()) / len(exits), 3))

Un échantillon résidentiel sain compte presque autant de sous-réseaux /24 distincts que d’IP distinctes.

Comment obtenir un échantillon d’ASN représentatif

Quelques précautions permettent de garder la mesure fiable :

• Échantillonnez par pays. La diversité n’a de sens qu’au sein d’un marché donné. Mélanger les pays gonfle le nombre d’ASN sans rien révéler sur aucun d’entre eux en particulier.
• Utilisez suffisamment de requêtes. Le nombre d’ASN distincts continue d’augmenter avec la taille de l’échantillon, comparez donc les pools à taille d’échantillon égale. Mille sorties par pays constitue un bon point de départ ; les parts et le HHI se stabilisent plus vite que le nombre total.
• Comptez chaque IP une seule fois. Les pools rotatifs peuvent renvoyer la même adresse plusieurs fois. Le module ci-dessus déduplique par IP.
• Étalez l’échantillon dans le temps. Les pools résidentiels évoluent au fil de la journée à mesure que les appareils se connectent et se déconnectent. Échantillonner sur plusieurs heures donne une image plus fidèle qu’une seule rafale.
• Utilisez la même source de recherche pour chaque pool. Des bases de géolocalisation différentes peuvent attribuer une adresse à des réseaux légèrement différents.

Ce que notre benchmark a révélé

Nous comptons les ASN distincts à chaque exécution de notre benchmark de proxies résidentiels : Shifter et 16 autres réseaux, chacun ayant reçu le même nombre de requêtes par pays depuis le même serveur. Ces échantillons sont bien plus importants que 1 000 sorties (250 000 requêtes aux États-Unis, de 60 000 à 100 000 ailleurs), si bien que les chiffres sont beaucoup plus élevés que ne le montrerait un petit test, mais ils restent comparables entre fournisseurs.

Aux États-Unis, les cinq pools les plus larges étaient :

Réseau	ASN US distincts	IP US en direct
Shifter	1 828	212 212
Oxylabs	1 591	140 811
Decodo	1 578	138 914
Webshare	1 518	150 512
FleetProxy	1 482	112 402

Sur les cinq pays que nous testons, voici comment Shifter se compare à Webshare, le concurrent le plus solide en termes de taille de pool :

Pays	ASN Shifter	ASN Webshare
États-Unis	1 828	1 518
Royaume-Uni	166	209
France	147	96
Canada	308	245
Allemagne	272	188

Le Royaume-Uni est le seul marché où Webshare s’est montré plus étendu : 209 réseaux contre 166, soit un écart de 43. Lors du même test, Shifter a renvoyé davantage d’adresses UK en direct, 60 487 contre 51 564, et le pool testé coûte à partir de 0,75 $ par GB contre le tarif publié le plus bas de Webshare à 1,40 $, soit un peu plus de la moitié du prix. Les chiffres mesurés pour Shifter en Allemagne étaient l’inverse de ceux du Royaume-Uni : moins d’IP en direct que Webshare, mais 272 réseaux contre 188.

Utiliser les données ASN au quotidien

Une fois que vous pouvez mesurer la répartition des ASN, les mêmes données servent au quotidien, pas uniquement dans le choix d’un fournisseur :

• Analysez les échecs par réseau. Lorsque le taux de blocage augmente, regroupez les requêtes échouées par l’ASN de leur sortie. Si les échecs se concentrent sur un ou deux réseaux, la cible agit contre ces réseaux en particulier, et les répartir ou les exclure corrige plus de choses qu’une simple nouvelle tentative.
• Vérifiez un pool avant une tâche importante. Un échantillon rapide de 1 000 sorties dans le pays ciblé indique si le pool y est suffisamment large pour le volume que vous prévoyez d’envoyer.
• Restreignez un réseau uniquement lorsque la tâche l’exige. Certains tests, comme vérifier ce que voient les clients d’un fournisseur donné, nécessitent une concentration volontaire. Le ciblage ASN répond à ce besoin ; le guide mentionné plus haut explique quand cela en vaut la peine.
• Enregistrez l’ASN avec chaque résultat. Lorsqu’un chiffre d’un jeu de données semble erroné, savoir de quel réseau il provient fournit souvent l’explication.

Proxies ISP et répartition des réseaux

Le même raisonnement s’applique aux IP que vous conservez plus longtemps. Si vous achetez des proxies résidentiels statiques pour des sessions longues, les répartir sur plusieurs fournisseurs et villes évite de faire reposer toutes vos identités sur un seul réseau. Notre guide sur l’achat de proxies ISP sans gaspiller d’argent inclut un script pour vérifier un lot d’IP, et nos proxies ISP vous permettent de choisir la ville et le FAI (ASN) pour chaque IP, parmi plus de 900 FAI dans plus de 1 800 villes. La manière dont un fournisseur s’approvisionne en adresses façonne également la diversité ; notre explication sur comment les fournisseurs s’approvisionnent de manière éthique en IP résidentielles détaille les questions à poser.

FAQ

En résumé

Le nombre d’IP mesure la taille d’un pool ; la diversité des ASN mesure sa résilience. Échantillonnez les sorties par pays, comptez chaque IP une seule fois, et observez le nombre effectif de réseaux, la part du plus grand réseau, la répartition des sous-réseaux et la part de sorties non résidentielles. Un pool résidentiel sain reflète le marché internet local : quelques grands FAI grand public et une longue traîne derrière eux, sans qu’aucun réseau unique ne porte une part disproportionnée de votre trafic.