Le marché des proxies résidentiels présente une caractéristique structurelle dont on parle rarement en public : beaucoup des « réseaux » auprès desquels vous pouvez acheter ne possèdent pas la majorité des adresses qu’ils vendent. Ils achètent en gros auprès d’un nombre restreint d’opérateurs et revendent une part, parfois avec une vraie valeur ajoutée en matière de routage, de ciblage et d’outillage, parfois sans rien ajouter d’autre qu’une marge.
Ce n’est pas un scandale. La revente est normale dans tous les marchés d’infrastructure, des réseaux mobiles à l’hébergement cloud. Le problème est qu’elle est invisible au moment de l’achat, et qu’elle fausse discrètement trois décisions que les acheteurs prennent en permanence : quel fournisseur utiliser en secours, de quelle capacité ils disposent réellement, et quel est un prix équitable.
La bonne nouvelle, c’est que cela se mesure. Ce guide explique comment fonctionne la chaîne d’approvisionnement, ce que le recouvrement fait à ces décisions, et comment le mesurer sans les erreurs d’échantillonnage qui rendent la plupart des chiffres de recouvrement dépourvus de sens.
Comment fonctionne réellement l’approvisionnement résidentiel
Une sortie résidentielle est une vraie connexion domestique qui a accepté, généralement via une application ou un SDK, de faire transiter du trafic pour un réseau. Constituer cet approvisionnement est lent et coûteux : cela suppose des partenariats avec des applications, des parcours de consentement, des rémunérations, un contrôle de la fraude et des années de gestion du renouvellement. Seuls quelques opérateurs le font à grande échelle.
Autour d’eux s’étend un marché en couches :
- Les opérateurs recrutent les appareils et exploitent l’infrastructure qui fait transiter le trafic par ces derniers.
- Les grossistes achètent de la capacité à un ou plusieurs opérateurs et la revendent en volume, en mélangeant parfois plusieurs sources derrière une même passerelle.
- Les revendeurs achètent à un opérateur ou à un grossiste et vendent sous leur propre marque, souvent avec leur propre tableau de bord, leurs propres forfaits et leur propre support, tandis que le trafic sort par les sorties d’un autre.
Une même marque peut se situer dans plusieurs couches : approvisionnement propre dans certains pays, approvisionnement acheté ailleurs, et flux de gros pour combler les manques lors des pics de demande. Rien de tout cela n’apparaît sur une page de tarifs.
Les trois décisions qu’il fausse
La redondance. Le conseil habituel, lorsqu’un fournisseur vous fait défaut, est d’en garder un second. Si les deux puisent dans le même pool, vous avez acheté une seconde facture plutôt qu’une seconde source. Quand une cible se met à refuser un bloc d’adresses, elle le refuse pour les deux fournisseurs à la fois, c’est-à-dire précisément au moment où la solution de secours devait aider. Si 70 % des sorties de votre fournisseur de secours sont partagées avec votre fournisseur principal, 70 % de votre trafic de secours arrive sur des adresses que la cible vient d’apprendre à considérer avec méfiance. On le découvre en général pendant un incident.
La capacité. Les fournisseurs annoncent des tailles de pool, et les acheteurs les additionnent. Supposons qu’un grand réseau vous montre 1 000 000 de sorties distinctes et qu’un plus petit en montre 70 000, dont 50 000 apparaissent aussi chez le grand. En utilisant les deux, vous obtenez 1 020 000 sorties distinctes, et non 1 070 000. Le second fournisseur a ajouté 2 % d’adresses en plus, et non 7 %, et vous payez la totalité de son forfait.
Le prix. Le coût d’un revendeur est le prix de son fournisseur amont plus sa propre marge. Cela peut convenir si le revendeur apporte quelque chose que vous valorisez. C’est un mauvais rapport qualité-prix si vous pouviez acheter les mêmes sorties en amont pour moins cher, et beaucoup d’acheteurs ignorent qu’un amont existe.
Le sens de la relation est l’essentiel du constat
Un pourcentage de recouvrement unique masque la partie la plus utile de la mesure. Les adresses partagées doivent être lues des deux côtés.
Reprenons l’exemple ci-dessus : 50 000 adresses en commun entre un réseau de 70 000 sorties observées et un réseau de 1 000 000.
| Petit réseau | Grand réseau | |
|---|---|---|
| Sorties distinctes observées | 70 000 | 1 000 000 |
| Partagées avec l’autre | 50 000 | 50 000 |
| Part de son propre pool qui est partagée | 71 % | 5 % |
| Part exclusive | 29 % | 95 % |
Cette configuration, où l’essentiel du petit pool se trouve dans le grand et où seule une fraction infime du grand se trouve dans le petit, est la signature de la revente. La relation va dans un seul sens : le petit réseau est en aval.
Comparez avec deux opérateurs indépendants qui s’approvisionnent auprès de FAI grand public dans les mêmes pays. Admettons que l’un affiche 400 000 sorties, l’autre 300 000, et qu’ils en partagent 6 000. Cela représente 1,5 % de l’un et 2 % de l’autre : un faible recouvrement dans les deux sens, à peu près ce que l’on attend de deux réseaux qui atteignent par hasard certains des mêmes foyers. Symétrique et faible signifie deux réseaux qui font la même chose séparément. Asymétrique et important signifie que l’un achète à l’autre.
Le piège de l’échantillonnage
Voici l’erreur qui sous-tend la plupart des chiffres de recouvrement que vous verrez : un petit échantillon fait paraître sans rapport des pools pourtant identiques.
Imaginez deux marques qui vendent exactement le même pool de 2 000 000 d’adresses. Vous prélevez 20 000 sorties chez chacune. En moyenne, environ 200 seulement coïncideront, soit environ 1 % de chaque échantillon. Lu naïvement, cela dit que les deux réseaux se recoupent à peine. En réalité, c’est le même réseau.
Cela se produit parce qu’un pool rotatif distribue une tranche différente à chaque observation. Le recouvrement brut est toujours un plancher : deux pools peuvent partager bien plus que ce que vous avez vu, jamais moins. La question est de savoir comment distinguer « des pools différents » de « le même pool, petit échantillon ». Il y a deux façons de le faire.
Comparer avec le recouvrement de chaque pool avec lui-même. Prenez deux échantillons du même fournisseur, dans la même fenêtre et de la même manière, et mesurez leur recouvrement mutuel. C’est la base de référence : le recouvrement maximal que l’on peut s’attendre à observer entre deux échantillons d’un même pool. Comparez ensuite le recouvrement entre fournisseurs à cette référence.
relative overlap = overlap between A and B ÷ overlap of A with itself
Un recouvrement relatif proche de 1 signifie que les sorties de B sont, pour autant que vos échantillons permettent d’en juger, tirées du pool de A. Proche de 0, les pools sont indépendants. Entre les deux, le partage est partiel, comme pour un réseau qui achète une partie de son approvisionnement.
Estimer la taille réelle du pool à partir des observations répétées. Ce même auto-recouvrement donne une estimation approximative du nombre d’adresses qu’un fournisseur peut réellement atteindre, selon la méthode de capture-recapture que les écologues utilisent pour compter les poissons d’un lac :
estimated pool size ≈ (sample 1 size × sample 2 size) ÷ addresses seen in both
Si deux échantillons de 40 000 sorties d’un même fournisseur en partagent 8 000, le fournisseur atteint environ 200 000 adresses distinctes sur vos cibles dans cette fenêtre, quoi qu’en dise son marketing. L’estimation suppose que chaque adresse a la même probabilité d’être distribuée, ce qui n’est jamais tout à fait vrai ; considérez-la donc comme un ordre de grandeur plutôt que comme un recensement. Elle reste bien plus proche de la réalité qu’une taille de pool annoncée.
Les signaux autres que les adresses partagées
Le recouvrement d’adresses est la preuve. Quelques autres signaux vont dans le même sens et sont souvent plus faciles à repérer en premier :
- Les incidents partagés. Si deux réseaux se mettent à échouer sur la même cible à la même heure, et se rétablissent ensemble, ils passent probablement par les mêmes sorties. Des incidents corrélés sur plusieurs semaines sont difficiles à expliquer autrement.
- Les mêmes erreurs de localisation. Chaque réseau associe des adresses à des pays et à des villes avec une certaine marge d’erreur. Quand deux réseaux se trompent sur les mêmes adresses de la même manière, ils lisent probablement les mêmes données de localisation en amont, ou font transiter le même trafic.
- Un comportement de passerelle identique. Les mêmes pages d’erreur, la même syntaxe des paramètres de session, les mêmes particularités dans les sessions persistantes ou les mêmes en-têtes de réponse de la couche proxy suggèrent la même infrastructure en dessous.
- Une répartition identique par ASN et par pays. Deux pools dont les parts par ASN et par pays sont presque identiques sont suspects. Cela ne prouve rien à soi seul (voir plus bas), mais associé à un recouvrement asymétrique, cela complète le tableau.
Ce que le recouvrement ne prouve pas
Il est facile de surinterpréter cette mesure ; ses limites méritent donc d’être énoncées clairement.
La revente n’est pas une fraude. Un revendeur qui sélectionne des sorties pour la vitesse, propose un meilleur ciblage ou un meilleur outillage, ou répond plus vite au support vend quelque chose de réel. Un revendeur peut même être le produit le plus rapide d’une comparaison, parce que la sélection fait un vrai travail. Le problème est de payer une prime pour un inventaire revendu sans le savoir, ou de compter sur lui pour une indépendance qu’il ne peut pas offrir.
Des ASN partagés ne sont pas des adresses partagées. Deux réseaux qui s’approvisionnent tous deux auprès du même grand FAI se ressemblent dans une ventilation par ASN tout en ne partageant aucune adresse réelle. La similarité au niveau de l’ASN est un indice ; seule la correspondance au niveau de l’adresse constitue une preuve.
Des voisines ne sont pas des correspondances. En IPv4, deux sorties dans le même /24 correspondent souvent à des foyers différents. En IPv6, un foyer détient généralement un /64 entier, de sorte que la correspondance exacte d’adresses manque les appareils partagés : comparez plutôt les sorties IPv6 par /64. Mélanger les deux règles masque un recouvrement réel ou en invente un.
Le sens peut changer avec le temps. Un réseau qui débute comme revendeur et construit son propre approvisionnement montre un recouvrement en baisse de mois en mois. Un grossiste qui ajoute un nouvel amont montre un bond soudain. Une fenêtre unique est un instantané ; la tendance en dit davantage.
Ce que vous apporte réellement un second fournisseur
Une fois les recouvrements connus, vous pouvez évaluer ce que vaut une configuration multi-fournisseurs. Pour deux fournisseurs, les adresses que vous pouvez réellement atteindre sont :
reachable exits = A + B − shared
Avec trois, additionnez les trois, soustrayez chaque recouvrement deux à deux, puis rajoutez les adresses que les trois partagent. En pratique, le chiffre utile est plus simple : pour chaque candidat, combien de sorties ajouterait-il que vous ne pouvez pas déjà atteindre ? C’est sa part exclusive dans votre configuration, et non la taille de son pool, et c’est ce chiffre qu’il faut peser face à son prix.
Pour la redondance, la question est encore plus étroite. Ce qui compte n’est pas le recouvrement total, mais le recouvrement sur les cibles où vous avez besoin de la solution de secours. Deux réseaux peuvent être indépendants sur des sites faciles et partager l’essentiel de leurs sorties fonctionnelles sur un site difficile, car seule une petite partie de chaque pool y passe.
Comment l’utiliser lors de l’achat
Vérifiez le recouvrement avant de choisir un fournisseur de secours. Si vous ajoutez un second fournisseur pour la redondance, son recouvrement avec votre fournisseur principal sur vos cibles critiques est le chiffre le plus important de la comparaison. Il compte plus que le taux de réussite de l’un ou l’autre réseau.
Décotez les annonces de taille de pool selon l’exclusivité. Le chiffre utile n’est pas le pool annoncé, ni même le pool mesuré. C’est le pool mesuré multiplié par sa part exclusive : les adresses que vous ne pouvez réellement atteindre d’aucune autre façon.
Interrogez le fournisseur par écrit sur son approvisionnement. Un fournisseur qui possède son approvisionnement le dit généralement sans détour. Une réponse vague à la question « exploitez-vous les sorties que vous vendez, et dans quels pays ? » est en soi une information.
Traitez une signature de revente comme un risque commercial, et pas seulement technique. Le produit d’un revendeur change quand les conditions, les prix ou la qualité de son amont changent, et vous n’avez aucune relation avec cet amont. Pour un prototype, cela importe à peine. Pour tout ce qui est assorti d’une échéance, cela a sa place dans votre registre des risques.
Le faire vous-même
Si vous avez des comptes chez au moins deux fournisseurs, c’est une journée de travail :
- Lancez les deux en même temps. Envoyez les mêmes requêtes via chaque fournisseur dans la même fenêtre. Les pools tournent en permanence ; échantillonner l’un le lundi et l’autre le jeudi ne vous apprend donc rien.
- Enregistrez ce que la cible a vu. Journalisez l’adresse de sortie issue d’un contrôle côté cible, comme un service d’écho d’IP, à chaque requête, et non ce que rapporte le tableau de bord du fournisseur. Les tableaux de bord peuvent être mis en cache, erronés ou décrire la passerelle.
- Prenez deux échantillons par fournisseur. Séparez le trafic de chaque fournisseur en deux moitiés de taille égale, afin de pouvoir mesurer son recouvrement avec lui-même.
- Échantillonnez suffisamment. Visez des dizaines de milliers de sorties distinctes par fournisseur. En dessous de quelques milliers, tout recouvrement paraît faible et la comparaison avec l’auto-recouvrement devient du bruit.
- Normalisez les adresses. Comparez l’IPv4 exactement et l’IPv6 par /64.
- Calculez les deux sens. Le nombre d’adresses partagées en part de chaque pool, puis le recouvrement relatif par rapport à l’auto-recouvrement de chaque pool.
- Recommencez le mois suivant. L’évolution entre les fenêtres est souvent le résultat le plus révélateur.
Comment Atlas le mesure
Atlas effectue cette mesure pour chaque paire de réseaux qu’il teste et la publie sur la page de recouvrement des pools de proxies, avec le sens de chaque recouvrement et la part exclusive de chaque réseau. Chaque réseau est testé dans la même fenêtre avec les mêmes requêtes, et les adresses de sortie distribuées par chacun sont croisées paire par paire. La méthodologie décrit précisément la façon de procéder et ses limites.
Peu de comparatifs publient quoi que ce soit de comparable. C’est curieux, étant donné qu’il s’agit de l’une des rares choses de ce marché qui peuvent être vérifiées plutôt qu’affirmées.