Si vous êtes arrivé ici parce que quelque chose que vous essayiez de faire en ligne a été bloqué, ou parce qu’un tutoriel vous a dit que vous aviez besoin de proxies résidentiels sans expliquer pourquoi, c’est le point de départ. Aucune connaissance préalable supposée, aucun jargon qui ne soit pas expliqué au fur et à mesure.
Ce qu’un proxy fait réellement
Normalement, votre ordinateur se connecte directement à un site web, et le site web voit votre adresse IP, le numéro que votre fournisseur d’accès à internet a attribué à votre connexion. Un proxy se place au milieu : vous envoyez votre requête au proxy, le proxy la transmet au site web, et le site web voit l’adresse du proxy au lieu de la vôtre.
C’est tout le mécanisme. Tout le reste concerne l’adresse que vous empruntez.
Pourquoi le type d’adresse compte
Les sites web traitent les adresses différemment selon leur origine, et c’est ce qui surprend les nouveaux venus.
Une adresse datacenter appartient à une société d’hébergement, le genre d’endroit où vivent les serveurs. Elles sont bon marché et rapides, mais elles ne sont aussi manifestement pas humaines. Les plages sont enregistrées publiquement, donc un site web peut savoir instantanément qu’une requête provient d’un serveur, et de nombreux sites considèrent cela comme une raison de bloquer, de défier, ou de servir un contenu différent.
Une adresse résidentielle appartient à une véritable connexion internet domestique, attribuée par un fournisseur grand public à un foyer. Pour un site web, cela ressemble à une personne ordinaire naviguant depuis chez elle, ce qui explique pourquoi cela fonctionne sur des sites où les adresses datacenter ne fonctionnent pas. Elles proviennent de personnes qui ont accepté de partager leur connexion, ce qui explique pourquoi elles coûtent plus cher : l’offre est limitée d’une manière que les adresses datacenter ne le sont pas.
Il existe d’autres types, et le vocabulaire complet se trouve dans le glossaire, mais cette distinction couvre l’essentiel de ce dont un débutant a besoin.
Quand vous en avez réellement besoin
Les proxies résidentiels valent leur coût lorsque votre travail dépend de l’une de ces deux choses.
Voir ce que voient les gens ailleurs. Les prix, les résultats de recherche, la disponibilité des produits et la publicité varient selon le pays et souvent selon la ville. Si vous devez savoir ce que voit un client en Allemagne, vous devez interroger depuis l’Allemagne, et une adresse résidentielle en Allemagne est le moyen d’y parvenir. Cela couvre la surveillance des prix, la vérification de l’apparence de votre site ou de vos publicités dans d’autres marchés, et la collecte de données de recherche qui varient selon la région.
Collecter des données publiques à une échelle qu’une seule connexion ne peut pas gérer. N’importe quel site remarquera des milliers de requêtes provenant d’une seule adresse et commencera à les refuser. Répartir ce volume sur de nombreuses adresses est ce qui permet aux grands travaux de collecte de continuer à fonctionner.
Si aucun de ces cas ne s’applique, vous n’avez peut-être pas besoin de proxies résidentiels du tout. Les cibles non défendues et votre propre infrastructure fonctionnent bien avec des adresses datacenter moins chères, et utiliser du résidentiel là où ce n’est pas nécessaire est simplement plus coûteux. La comparaison honnête se trouve dans résidentiel contre datacenter.
Les deux façons dont ils se comportent
C’est le concept qui déroute le plus les gens, et c’est simple une fois énoncé.
Rotatif signifie que chaque requête sort via une adresse différente. C’est le choix par défaut et le bon choix pour la collecte de données, car répartir les requêtes sur de nombreuses adresses est exactement ce qui empêche une seule adresse d’attirer l’attention.
Persistant (sticky) signifie que vous conservez la même adresse pendant un certain temps. Vous en avez besoin chaque fois qu’un site se souvient de vous entre les requêtes : connexion, navigation dans une recherche à plusieurs pages, ou tout ce où changer d’adresse en cours de route donnerait l’impression qu’une personne différente est apparue à mi-chemin. Vous l’obtenez en ajoutant un identifiant de session à votre nom d’utilisateur, et cela dure pendant une durée définie avant de tourner.
La plupart des projets utilisent les deux : rotatif pour la collecte en masse, persistant pour les parties impliquant une séquence. Plus d’informations dans persistant contre rotatif.
Comment vous les payez
Les proxies résidentiels sont facturés en fonction des données que vous déplacez, mesurées en gigaoctets, plutôt qu’en fonction du nombre d’adresses que vous utilisez. Cela surprend les gens, car cela signifie que le nombre d’IPs n’est pas quelque chose que vous achetez, et ce qu’il faut estimer, c’est la bande passante.
La conséquence pratique est que ce que vous récupérez compte plus que le nombre de requêtes que vous effectuez. Récupérer les données sous-jacentes d’une page représente quelques kilooctets ; charger entièrement cette page dans un navigateur avec toutes ses images, polices et scripts peut représenter plusieurs mégaoctets. Le même travail construit de la seconde façon peut coûter cent fois plus cher. Ce compromis est traité dans estimer la bande passante et réduire les coûts de bande passante.
Votre première requête
Quatre éléments : un hôte, un port, un nom d’utilisateur et un mot de passe. L’hôte et le port ne changent jamais. Votre ciblage se fait dans le nom d’utilisateur.
# le plus simple possible : rotatif, sans préférence de localisation
curl -x customer-USERNAME:PASSWORD@p.shifter.io:443 https://ipinfo.io/json
# même requête, mais sortant via l'Allemagne
curl -x customer-USERNAME-country-de:PASSWORD@p.shifter.io:443 https://ipinfo.io/jsonExécutez la première deux fois et vous devriez voir deux adresses différentes, ce qui confirme que la rotation fonctionne. Le format complet, y compris les sessions persistantes et le ciblage par ville, se trouve dans comment se connecter à un proxy résidentiel.
Quatre erreurs que font les débutants
S’attendre à ce qu’un proxy résolve à lui seul un problème de blocage. L’adresse n’est qu’un signal parmi d’autres. Si vos requêtes ne ressemblent pas par ailleurs à celles d’un navigateur, vous pouvez tout de même être bloqué, et la prochaine chose à corriger est généralement les en-têtes.
Aller trop vite. Les nouveaux utilisateurs envoient souvent des requêtes aussi rapidement que leur code le permet, ce qui est le moyen le plus rapide d’être bloqué. Ralentissez délibérément ; un rythme mesuré n’est pas seulement une question de courtoisie, il maintient aussi un taux de réussite élevé, selon limitation de débit et régulation des requêtes.
Faire confiance à une réponse 200. Une page peut renvoyer un « succès » tout en contenant un défi, un résultat vide, ou une version générique de ce que vous vouliez. Vérifiez que le contenu correspond à ce que vous attendiez avant de le traiter comme des données, comme dans détecter le contenu bloqué ou factice.
Charger des pages complètes alors que les données sont disponibles directement. De nombreux sites récupèrent leur contenu depuis un point d’accès sous-jacent que votre navigateur peut révéler dans son panneau réseau. Appeler ce point d’accès directement est plus rapide, plus simple à analyser, et considérablement moins cher, ce qui est la décision abordée dans quand vous avez besoin d’un navigateur headless.
Rester du bon côté
Les proxies changent l’origine apparente de votre requête. Ils ne changent pas ce que vous êtes autorisé à faire. Collectez des données publiques, respectez les conditions d’utilisation et les directives robots de chaque site, gardez un rythme de requêtes mesuré, et faites attention aux données personnelles. Accéder à un contenu qui varie légitimement selon la région est un travail commercial ordinaire ; utiliser un proxy pour contourner une restriction censée s’appliquer à vous ne l’est pas, et l’outil ne change rien à cela. Le cadre légitime est présenté dans contourner légalement les restrictions de géolocalisation.
Où aller ensuite
Une fois votre première requête fonctionnelle : choisir le bon forfait pour le dimensionnement, combien d’IPs proxy vous avez réellement besoin si quelqu’un vous pose cette question, et ce qu’il faut tester avant d’acheter si vous êtes encore en phase d’évaluation. Quand quelque chose ne fonctionne pas, l’IP ne tourne pas et résoudre les erreurs 407 couvrent les deux problèmes initiaux les plus courants.
L’essentiel à retenir
Un proxy transmet votre requête de sorte que le site voit son adresse plutôt que la vôtre, et un proxy résidentiel emprunte une véritable connexion domestique, ce qui explique qu’il soit traité comme un visiteur ordinaire. Vous en avez besoin lorsque votre travail dépend de la vision de ce que voient les gens à un endroit précis, ou de la collecte de données publiques à un volume qu’une seule connexion ne peut pas soutenir. Faites tourner par défaut, maintenez une session persistante quand un site suit une séquence, et rappelez-vous que vous payez pour les données transférées, donc récupérer moins est le principal levier de coût. Commencez par une seule requête simple, confirmez qu’elle tourne, puis ajoutez le ciblage un paramètre à la fois.
Quand vous êtes prêt, les proxies résidentiels vous offrent le ciblage par pays et par ville, la rotation et les sessions persistantes décrites ici via une seule connexion, avec une tarification au Go afin qu’un petit premier projet ne coûte qu’un petit montant.