La plupart des infrastructures internet sont construites comme on pourrait s’y attendre : une entreprise loue de l’espace dans un datacenter, installe des serveurs, et fait tourner son service depuis eux. Un réseau de proxy résidentiel pair-à-pair ne fonctionne pas ainsi, et comprendre cette différence explique presque tout du comportement de ces produits, y compris les aspects qui semblent étranges au premier abord.
L’idée de base
Dans un réseau pair-à-pair, il n’y a pas de datacenter rempli de serveurs proxy. Le réseau est constitué d’appareils ordinaires appartenant à des gens ordinaires : téléphones, ordinateurs portables, ordinateurs de bureau, connectés à des connexions internet domestiques classiques. Chaque appareil participant peut agir comme un nœud, ce qui signifie qu’il peut faire transiter une requête au nom du réseau et renvoyer la réponse.
Ainsi, lorsque vous effectuez une requête via ce type de proxy, elle voyage jusqu’à la passerelle du fournisseur, puis sort par la connexion domestique d’un participant, et enfin vers le site web que vous cherchiez à atteindre. Le site web voit l’adresse de ce foyer, car de son point de vue, c’est de là que provient la requête.
Pourquoi construire un réseau de cette façon
C’est plus compliqué que de louer des serveurs, il doit donc y avoir une raison, et il y en a exactement une : les adresses.
Les sites web traitent le trafic différemment selon sa provenance. Une adresse de datacenter est instantanément reconnaissable comme appartenant à une infrastructure d’hébergement, car ces plages sont publiquement enregistrées, et beaucoup de sites considèrent cela comme un motif de blocage, de vérification supplémentaire, ou d’affichage d’un contenu différent. Une connexion domestique ressemble à une personne, parce que c’en est une.
Cette qualité ne s’achète pas. Les FAI grand public attribuent des adresses à des foyers, pas à des entreprises souhaitant y faire transiter du trafic automatisé. La seule façon d’envoyer une requête depuis une véritable connexion domestique est qu’un véritable foyer la fasse transiter, ce qu’un réseau pair-à-pair organise. Les mécanismes de cette différence d’adresse sont détaillés dans l’anatomie d’une IP résidentielle.
Pourquoi les gens participent
La question évidente : pourquoi laisser le trafic d’un inconnu utiliser sa connexion internet ?
Parce qu’ils obtiennent quelque chose en retour. L’arrangement habituel est qu’une application propose un choix : partager une petite part de votre bande passante inutilisée, et recevoir la version payante gratuitement, ou une expérience sans publicité, ou un petit paiement. La personne garde l’application qu’elle voulait et cède de la bande passante qu’elle n’utilisait pas.
Que cet arrangement soit légitime dépend entièrement du fait qu’il soit clairement divulgué et véritablement optionnel, ce qui est l’élément le plus important à vérifier concernant tout fournisseur sur ce marché, et qui est traité en détail dans comment les fournisseurs sourcent leurs IP de manière éthique. Des réseaux construits sans véritable consentement existent, et ils posent à la fois un problème éthique et, en pratique, constituent un produit de moins bonne qualité.
Ce que vous y gagnez
L’accès. Les sites qui bloquent le trafic de datacenter accepteront généralement une adresse résidentielle, ce qui est tout l’intérêt.
Une géographie réelle. Comme les participants sont de véritables foyers dans des lieux réels, vous pouvez demander une sortie dans un pays ou une ville spécifique et obtenir un point de vue véritablement local. C’est ce qui permet de voir les prix locaux, les résultats de recherche locaux, et la disponibilité régionale.
Une échelle grâce à la diversité. Un grand réseau de participants signifie un très grand nombre d’adresses différentes, de sorte qu’une tâche de collecte importante peut se répartir entre elles plutôt que de marteler une cible depuis un seul endroit.
Ce que vous devez sacrifier
C’est ici qu’être honnête compte plus qu’être enthousiaste, car les compromis sont réels et découlent directement de l’architecture.
Vitesse et régularité. Un serveur de datacenter repose sur une connexion rapide et dédiée. L’appareil d’un participant est sur une connexion domestique que quelqu’un d’autre utilise aussi, peut-être pour du streaming vidéo. Les requêtes résidentielles sont en moyenne plus lentes et, plus important encore, bien plus variables, il faut donc raisonner en percentiles plutôt qu’en moyennes.
Une disponibilité qui évolue. Les appareils se déconnectent lorsque les gens ferment l’application ou quittent leur domicile, si bien que le pool est plus fourni en soirée dans un pays qu’à quatre heures du matin, et les petits pays ressentent cela davantage. C’est pourquoi la disponibilité par pays est une question qui dépend de vos marchés et horaires spécifiques plutôt qu’un chiffre global.
Des sessions qui peuvent se terminer prématurément. Si vous conservez une adresse pour une tâche à plusieurs étapes et que l’appareil se déconnecte, l’adresse change en cours de tâche. Un bon outillage gère cela, mais votre code doit s’y attendre, selon sticky versus rotating.
Le coût. Les participants doivent être rémunérés, si bien que la bande passante résidentielle est nettement plus chère que le trafic de datacenter. C’est aussi pourquoi une offre résidentielle suspicieusement bon marché mérite la méfiance, puisque quelqu’un dans la chaîne n’est pas payé.
Ce que cela implique pour votre usage
Deux implications pratiques pour un débutant.
Soyez courtois, et sincèrement. Vos requêtes voyagent via la connexion domestique de quelqu’un, si bien qu’une tâche agressive dégrade la connexion internet d’une personne réelle en plus de contrarier le site cible. Le rythme n’est pas seulement une question d’éviter les blocages.
Utilisez-le là où cela justifie son coût. Si vos cibles ne se soucient pas du type d’adresse, une infrastructure moins chère fera l’affaire, et la comparaison se trouve dans résidentiel versus datacenter. Le résidentiel vaut la peine d’être payé lorsque vous devez apparaître comme un visiteur ordinaire ou voir ce qu’un lieu spécifique voit.
Ce que cela donne de votre côté
Rassurant de banalité. Vous ne vous connectez pas à des participants individuels et ne gérez pas une liste d’appareils. Vous vous connectez à une passerelle unique, et elle route votre requête à travers un nœud approprié, ce qui correspond à l’architecture backconnect. La configuration se résume à un hôte, un port, un nom d’utilisateur et un mot de passe, selon comment se connecter.
L’essentiel à retenir
Un réseau de proxy résidentiel pair-à-pair est construit à partir d’appareils de personnes ordinaires plutôt que de serveurs, car la seule façon d’envoyer une requête depuis une véritable connexion domestique est qu’un véritable foyer la fasse transiter. Cela vous procure des adresses que les sites web traitent comme des visiteurs ordinaires, de véritables points de vue géographiques, et une large répartition de sorties. Cela vous coûte en vitesse, en régularité, en disponibilité qui varie selon l’heure de la journée, en sessions pouvant se terminer prématurément, et en un prix plus élevé, autant d’éléments qui découlent de la même architecture plutôt que d’être des défauts. Vérifiez que les participants ont véritablement consenti, soyez courtois car la connexion d’une personne réelle transporte votre trafic, et utilisez-le là où cela justifie réellement son coût.
C’est le modèle derrière les proxies résidentiels, accessibles via une passerelle unique avec un ciblage par pays et par ville, facturés par GB. Si vous cherchez encore vos repères, commencez par les proxies résidentiels pour débutants.