« Proxys résidentiels rotatifs » est une expression que tout le monde dans ce domaine emploie, mais la mécanique derrière est rarement détaillée. D’où viennent les IP ? Pourquoi votre IP de sortie change-t-elle parfois sans que vous l’ayez demandé ? Que contrôle vraiment « tourner », et pourquoi une IP « sticky » n’est-elle jamais tout à fait permanente ? Comprendre la plomberie répond à tout cela, et c’est la différence entre lutter contre le comportement de votre proxy et l’utiliser à dessein.
C’est le mécanisme sous le choix sticky vs rotatif et l’anatomie d’une IP résidentielle. Voici ce qui se passe vraiment.
Vous vous connectez à un gateway, pas à des IP
La première chose à comprendre est que vous ne vous connectez jamais à des IP résidentielles individuelles, et vous ne gérez jamais une liste d’entre elles. Vous vous connectez à un unique point de terminaison gateway, p.shifter.io:443, et le gateway route votre requête vers l’extérieur à travers l’une des millions d’IP résidentielles du pool. Tout ce qui concerne l’IP que vous obtenez s’exprime dans le nom d’utilisateur avec lequel vous vous authentifiez :
customer-USERNAME-country-us-sid-abc123-ttl-600Le gateway lit ce nom d’utilisateur, filtre le pool aux IP qui correspondent à votre ciblage (ici les États-Unis), en choisit une, et envoie votre requête vers l’extérieur à travers elle. Vous parlez à une adresse ; le pool se tient derrière elle. C’est pourquoi tourner semble sans effort : le gateway fait l’attribution, et vous décrivez juste ce que vous voulez.
Le pool est vivant, donc tourner est le comportement par défaut
Un pool résidentiel n’est pas une liste fixe. Il est fait de vraies connexions domestiques qui vont et viennent à mesure que les appareils se connectent et se déconnectent au fil de la journée, donc l’ensemble des IP de sortie utilisables change constamment. Quand vous ouvrez une connexion sans demander une session spécifique, le gateway attribue simplement une IP de sortie fraîche parmi ce qui est disponible à ce moment-là. C’est ce que « tourner » signifie dans sa forme la plus basique : une nouvelle connexion obtient une nouvelle IP.
Tourner n’est donc pas un mode spécial que vous activez. C’est le comportement naturel d’un pool vivant quand vous ne dites pas au gateway de tenir une IP pour vous. Omettez les contrôles de session et chaque nouvelle connexion tourne.
Vous contrôlez la rotation avec un jeton de session et un TTL
Deux boutons dans le nom d’utilisateur décident si vous tournez ou restez en place, et ils sont toute l’histoire :
- Un id de session (
sid) dit au gateway « continue de m’envoyer par la même IP de sortie chaque fois que je présente ce jeton ». C’est une session sticky. - Un TTL (
ttl) dit combien de temps tenir cette IP, par exemple 600 secondes.
Posez les deux et vous obtenez une IP stable pour la fenêtre. Omettez-les et vous tournez à chaque connexion. Crucialement, c’est un choix que vous faites par requête en changeant le nom d’utilisateur, pas un produit ou point de terminaison différent, le même gateway fait les deux. C’est pourquoi sticky vs rotatif est une décision que vous prenez par unité de travail, pas un plan que vous achetez.
Pourquoi une IP sticky n’est jamais vraiment permanente : CGNAT et va-et-vient des appareils
Voici la partie honnête avec laquelle les proxys de datacenter n’ont pas à composer. Une IP de sortie résidentielle appartient à une vraie connexion domestique que vous ne contrôlez pas, et les connexions domestiques ne sont pas stables comme l’est un serveur loué. Deux forces en particulier les gardent en mouvement.
La plupart des connexions domestiques se tiennent désormais derrière le CGNAT, carrier-grade NAT, où le FAI partage une seule adresse IPv4 publique entre de nombreux abonnés et peut la réattribuer. L’IP publique d’un abonné peut changer lors d’un renouvellement de bail ou d’une réattribution NAT, sans rien que vous ou le gateway ayez fait. Et l’appareil lui-même peut simplement se déconnecter, quelqu’un ferme un portable, un téléphone tombe du Wi-Fi, et ce chemin de sortie a disparu.
C’est pourquoi une session sticky est au mieux, pas une garantie. Le gateway tient votre IP aussi longtemps qu’il le peut dans le TTL, mais si la connexion domestique sous-jacente change ou tombe, vous obtenez une nouvelle IP avant la fin du TTL. Tourner, en d’autres termes, est en partie une fonctionnalité et en partie un reflet de la réalité du réseau : les IP résidentielles bougent parce que les vrais foyers bougent, et tout système bâti dessus doit s’y attendre.
Pourquoi votre IP a changé sans que vous l’ayez demandé
Assemblez ces pièces et le mystérieux changement d’IP en milieu de course cesse d’être mystérieux. C’est presque toujours l’une de celles-ci :
- Aucun jeton de session, donc chaque connexion tourne par conception. C’est la surprise la plus courante pour ceux qui supposaient une IP par course.
- Une session sticky dont le TTL a expiré, donc le gateway a relâché l’IP et en a attribué une nouvelle.
- Une session sticky dont l’IP domestique sous-jacente est tombée (appareil déconnecté ou réattribution CGNAT) avant le TTL, forçant un changement précoce.
- Une nouvelle connexion que votre client a ouverte au lieu de réutiliser une maintenue en vie. Si votre client HTTP ne réutilise pas sa connexion, chaque requête peut ressembler à un événement de rotation frais à moins que le
sidne l’épingle, ce qui est une raison de plus pour laquelle les guides de langage insistent sur la réutilisation du client.
Ce que cela signifie pour votre façon de scraper
Les enseignements pratiques découlent directement de la mécanique.
Ajustez la rotation à la tâche. Tournez, en omettant la session, quand vous voulez de l’anonymat et répartir la charge sur de nombreuses IP. Allez sticky, avec un sid et un ttl, pour tout ce qui doit ressembler à un visiteur cohérent : une séquence paginée sur plusieurs pages, une session connectée, ou tout flux en plusieurs étapes. Mapper le travail aux identités de cette façon est le motif de répartition de charge.
Concevez pour une IP sticky qui pourrait quand même changer. Comme sticky est au mieux, une longue session devrait pouvoir survivre à un changement de son IP de sortie en cours de route, en rétablissant cookies ou état si cela arrive, au lieu de supposer que l’IP est fixe pour toute la course.
Le ciblage géo tourne dans un sous-ensemble. Quand vous ciblez un pays, une ville ou un ASN, le gateway filtre le pool à ce sous-ensemble et tourne dedans. « Résidentiel américain rotatif » signifie une IP américaine fraîche par connexion ; le ciblage par ASN ou au niveau ville ne fait que resserrer le sous-ensemble à travers lequel il tourne.
La qualité du pool décide de ce que la rotation vous donne. La rotation ne vaut que ce que vaut le pool derrière elle. Un grand pool propre signifie que chaque IP fraîche en est une bonne ; un pool petit ou sale signifie que tourner ne fait que vous faire cycler à travers des adresses signalées, et votre taux de succès le reflète. C’est pourquoi la réputation d’IP et la taille du pool comptent plus que le mécanisme de rotation lui-même.
En résumé
La rotation des proxys résidentiels n’est pas de la magie et n’est pas un mystère. Un gateway attribue votre IP de sortie depuis un pool vivant de vraies connexions domestiques, vous contrôlez si elle tourne ou reste sticky avec un jeton de session et un TTL dans le nom d’utilisateur, et le tout est borné par la réalité que les IP domestiques vont et viennent à cause du CGNAT et du va-et-vient des appareils. Tournez en omettant la session ; restez sticky en posant un sid et un ttl, mais traitez sticky comme au mieux et concevez pour que l’IP change potentiellement. Ajustez le choix à la tâche, et tout en aval, sessions, connexions, pagination, géo, devient plus facile.
Ce qui rend la rotation vraiment utile, c’est le pool en dessous. Nos proxys résidentiels tournent sur un grand pool propre pour que chaque IP de sortie que le gateway vous donne, rotative ou sticky, en soit une qui vaille la peine d’être utilisée, et la tarification au Go signifie que vous payez pour les requêtes que vous faites, pas pour le nombre d’IP à travers lesquelles vous cyclez.