La version honnête de la question proxy gratuit contre proxy payant ne porte pas sur la qualité dans l’abstrait. Elle porte sur les défaillances que vous êtes prêt à absorber. Les proxies gratuits sont réellement gratuits, et pour une poignée de requêtes contre une page publique, ils fonctionnent parfois. Les proxies payants coûtent de l’argent et éliminent une catégorie de problème qui devient coûteuse dès que la collecte compte pour l’entreprise.
Ce qu’est réellement une liste de proxies gratuits
Les listes de proxies gratuits sont, à quelques exceptions près, le résultat d’un balayage à l’échelle d’internet. Un scanner ratisse l’espace d’adresses à la recherche d’hôtes répondant sur des ports proxy courants, vérifie s’ils transmettent une requête, et publie ceux qui le font. Ces hôtes se répartissent en trois groupes.
Certains sont des mauvaises configurations. Un serveur, un routeur ou un appareil a été déployé avec un port proxy ouvert et son propriétaire ne le sait pas. Il continuera de fonctionner jusqu’à ce que quelqu’un s’en aperçoive et le ferme, ce qui pourrait arriver demain.
Certains sont des relais ouverts délibérés, gérés par des personnes qui aiment l’idée d’un service public. Ce sont le meilleur cas et le plus rare.
Et certains sont exploités spécifiquement pour se positionner au milieu du trafic d’autres personnes. C’est une position bon marché à acquérir et précieuse à occuper, car l’opérateur voit tout ce qui la traverse.
Aucun des trois n’a d’obligation envers vous, d’engagement de capacité, ni de raison d’être encore là quand votre tâche s’exécutera demain.
La question de sécurité, énoncée précisément
L’avertissement habituel est que les proxies gratuits volent vos données. C’est suffisamment imprécis pour être facile à écarter, alors voici la version exacte.
Un opérateur de proxy voit la destination de chaque requête que vous envoyez. Pour du HTTP simple, il voit le contenu complet dans les deux sens et peut le modifier. Pour du HTTPS, le transport est chiffré de bout en bout et l’opérateur voit le nom d’hôte et le motif de trafic, pas le contenu. C’est cette protection qui rend le passage par un proxy tolérable, à la base.
Le mode de défaillance est ce qui se passe ensuite. Un opérateur qui veut le contenu peut présenter son propre certificat et espérer que le client l’accepte. Un client correctement configuré refuse et la requête échoue. Ce qui se passe alors en pratique, c’est que quelqu’un qui débogue un scraper qui ne se connecte pas via un proxy gratuit désactive la vérification du certificat, les requêtes commencent à fonctionner, et la seule protection qui comptait disparaît. Le proxy lit désormais tout, y compris les identifiants que le script envoie.
La règle est donc étroite et vaut la peine d’être énoncée clairement : n’envoyez jamais de trafic authentifié, d’identifiants, de données personnelles ou quoi que ce soit de commercialement sensible via un proxy dont vous ne pouvez pas nommer l’opérateur. Lire une page publique relève d’une catégorie de risque différente que de se connecter à un compte.
Ce qui casse en premier à grande échelle
La sécurité est l’objection spectaculaire. La fiabilité est celle qui met fin à l’expérience.
Les listes gratuites se dégradent en quelques heures. Une grande part des entrées est morte au moment de leur publication, et parmi celles qui répondent, beaucoup sont déjà connues des sites que vous voulez atteindre, car des milliers d’autres personnes envoient du trafic via la même adresse. Vous n’obtenez pas une IP fraîche, vous obtenez une adresse avec une réputation publique et un historique que vous n’avez pas créé.
Le débit n’est pas géré. Chaque hôte de la liste est utilisé par tous ceux qui ont trouvé la liste, donc la latence varie de plusieurs ordres de grandeur entre les requêtes et les connexions se coupent en cours de réponse. Les délais d’attente cessent d’être une condition d’erreur pour devenir le cas normal, ce qui signifie que votre logique de nouvelle tentative et votre analyseur doivent tous deux être écrits pour composer avec ce bruit.
Il n’y a pas de ciblage géographique digne de ce nom. Les entrées sont étiquetées avec un pays, les étiquettes sont souvent fausses, et il n’y a aucun contrôle par ville, ASN ou opérateur télécom. Pour toute tâche où l’objectif est de voir une page comme la voit un utilisateur local, deviner n’est pas une stratégie.
Il n’y a pas de contrôle de session. Tout ce qui nécessite la même adresse à travers plusieurs étapes, une pagination derrière un curseur, un choix de localisation mémorisé, un flux multi-pages, est impossible, car vous n’avez aucun moyen de demander deux fois la même adresse.
Et il n’y a pas de visibilité. Quand une tâche produit la moitié des enregistrements attendus, il n’y a rien à inspecter : aucun taux de réussite, aucune répartition des erreurs, aucun journal par requête. Vous devez deviner si la cible a changé, si l’analyseur s’est cassé, ou si le proxy a simplement échoué.
Ce que payer change réellement
Un réseau payant vend ce que la liste ne peut pas offrir : des adresses avec une source connue, un pool suffisamment grand pour qu’aucune adresse unique ne porte toute votre charge de travail, un contrôle géographique précis plutôt qu’aspirationnel, un comportement de session que vous choisissez par requête, et un taux de réussite dont quelqu’un est responsable.
Les proxies résidentiels transitent par de vraies connexions grand public, ce qui est ce qui les fait fonctionner contre des sites orientés grand public avec une gestion anti-bot mature. Les proxies ISP offrent le même profil de confiance avec une adresse statique, ce dont ont besoin les flux avec état. Les proxies datacenter restent les moins chers par requête et constituent la bonne réponse sur des cibles qui ne se défendent pas. Choisir entre eux est une décision de routage, et l’accès payant est ce qui en fait une décision à part entière plutôt qu’un espoir.
L’approvisionnement fait partie de ce que vous achetez et il vaut la peine de s’y intéresser. Un réseau résidentiel est constitué de pairs dont les appareils acheminent le trafic, et le fait que ces pairs aient sciemment accepté cela ou non constitue une vraie différence entre fournisseurs, à la fois sur le plan éthique et quant à la stabilité du pool dans le temps. C’est une question légitime à poser à tout fournisseur avant de signer.
Quand le gratuit est la bonne réponse
Les proxies gratuits ne sont pas une escroquerie, et il existe des cas où payer est inutile.
Vérifier si une page s’affiche différemment dans un autre pays, une fois. Apprendre comment fonctionne la configuration d’un proxy avant de s’engager sur un plan. Lire une page publique, non sensible, où un échec ne coûte rien et une nouvelle tentative est gratuite. Une expérience jetable qui ne s’exécutera jamais deux fois.
Le point commun est que rien ne dépend de la réussite de la requête. Au moment où quelque chose en dépend, qu’il s’agisse d’un rapport, d’un flux de prix, d’une tâche de surveillance ou de quoi que ce soit avec une échéance, l’arithmétique s’inverse.
L’arithmétique
L’argument en faveur du paiement est généralement formulé en termes de qualité. Il est plus convaincant en termes de coût.
Prenons une tâche modeste : quelques milliers de pages publiques par jour. Sur une infrastructure gratuite, la plupart des requêtes échouent ou renvoient des pages de défi, donc le crawler réessaie, et les nouvelles tentatives échouent aussi. Un ingénieur passe une semaine à construire la rotation, la vérification de santé et la logique de nouvelle tentative pour composer avec un pool d’adresses peu fiable par nature, puis passe du temps chaque mois à le maintenir en état de marche à mesure que la liste se renouvelle. Cette semaine vaut plus que plusieurs années d’un petit forfait proxy.
La version payante de cette même tâche est tarifée à la bande passante. Un trafic résidentiel à 1,00 $/GB sur des pages texte, avec les images et les polices bloquées, place une tâche de ce type dans une fourchette de quelques dollars par mois. Le temps d’ingénierie va vers l’analyseur et l’analyse plutôt que vers le contournement de l’infrastructure.
C’est là tout l’argument. Les proxies gratuits ne coûtent pas rien, ils déplacent le coût de la facture vers le calendrier d’ingénierie, et ils ajoutent une catégorie de risque sans aucun avantage.
Comment choisir un fournisseur payant
Une fois la décision prise, les critères d’évaluation utiles sont opérationnels plutôt que cosmétiques. La taille du pool et le nombre de pays sont les chiffres les plus visibles et les moins informatifs. Ce qui compte, c’est de savoir si les taux de réussite se maintiennent pendant votre fenêtre de collecte, si le ciblage géographique se résout jusqu’à la ville ou l’ASN demandé, si les sessions rotatives et persistantes sont toutes deux disponibles sur un même compte, si la concurrence est plafonnée, et si l’usage est visible en temps réel plutôt qu’à la fin du mois.
La mesure indépendante prime sur les affirmations des fournisseurs, c’est pourquoi les chiffres de notre propre réseau figurent sur la page des benchmarks avec la méthode jointe, plutôt que d’être simplement affirmés dans un article. Le réseau résidentiel de Shifter couvre plus de 205M d’IP dans plus de 195 pays avec un ciblage au niveau de la ville et de l’ASN, des sessions rotatives et persistantes, et des connexions simultanées illimitées, et le tarif est au GB, sans frais par IP.
En résumé
Les proxies gratuits sont adaptés à la curiosité et inadaptés à tout le reste. Ils sont peu fiables par construction, opaques quant à leur opérateur, et dangereux dès que des identifiants sont impliqués.
Les proxies payants ne sont pas meilleurs parce qu’ils coûtent de l’argent. Ils sont meilleurs parce que quelqu’un est responsable du pool, que la géographie est réelle, que les sessions se comportent correctement, et que les échecs sont visibles. Pour toute tâche de collecte dont dépend une personne ou un rapport, ce n’est pas un luxe. C’est la spécification minimale.
À lire ensuite : comment éviter d’être bloqué lors du scraping.