L’infrastructure de proxy résidentiel est généralement discutée en termes d’échelle : nombre d’IP, couverture par pays, ciblage par ville et ASN, et vitesse de rotation.
Ces questions comptent. Mais pour les chercheurs de marché, les data scientists, les équipes IA, et quiconque utilise des données du web public pour prendre des décisions, une autre question compte également : l’ensemble de données obtenu est-il représentatif ?
Imaginez collecter 100 000 observations destinées à décrire le marché britannique. Chaque requête réussit et des milliers d’IP tournent, pourtant une part disproportionnée provient de Londres et d’une poignée de grands réseaux à large bande, tandis que d’autres régions et des FAI plus petits n’apparaissent qu’occasionnellement.
L’infrastructure a fonctionné. L’échantillon, peut-être pas. À proprement parler, le pool de proxy définit le cadre d’échantillonnage disponible ; les sorties sélectionnées à partir de celui-ci et les observations qui en résultent forment l’échantillon.
Cette distinction compte car le biais d’échantillonnage des données ne nécessite pas de requêtes échouées, de crawlers défaillants, ou de données manifestement mauvaises. Il peut apparaître lorsque des observations individuellement valides sont collectées dans des proportions qui ne représentent pas adéquatement la population étudiée.
La théorie statistique de l’échantillonnage traite ce problème depuis des décennies. NIST note que les faits concernant un échantillon ne sont pas automatiquement des faits concernant la population, et que l’adéquation d’un échantillon dépend de sa représentativité autant que de sa taille, de sa variabilité et de la précision requise.
Points clés à retenir
- Les grands pools de proxy créent de la diversité d’accès, pas une représentativité automatique.
- Le biais d’échantillonnage peut provenir de la géographie, des ASN, du timing et des points d’observation corrélés.
- La stratification, les quotas, l’échantillonnage temporel, le reporting et la pondération peuvent réduire le biais.
- La couverture réseau et la couverture d’échantillon répondent à des questions différentes.
- La diversité d’accès n’est pas la même chose que la représentativité de l’échantillon.
La couverture réseau n’est pas la couverture d’échantillon
Nous exploitons un réseau de plus de 205 millions d’IP résidentielles dans plus de 195 pays, avec un ciblage au niveau du pays, de la région, de la ville et de l’ASN. Ces capacités élargissent considérablement le nombre d’endroits depuis lesquels une équipe de données peut observer le web public.
Mais la couverture d’infrastructure décrit l’espace d’observation possible. Elle ne vous dit pas quelle proportion de cet espace votre ensemble de données finalisé a réellement échantillonné.
C’est la différence entre la couverture réseau et la couverture d’échantillon.
Un réseau peut exposer des milliers d’ASN alors qu’un crawl reçoit la majorité des observations à travers un petit sous-ensemble. Une couverture nationale peut de même produire un ensemble de données à forte dominante urbaine si davantage de sorties sont disponibles dans les grandes zones métropolitaines.
Les grands pools permettent un échantillonnage diversifié ; ils ne le rendent pas automatique.
Comment le biais d’échantillonnage des données s’infiltre dans un ensemble de données web
Le biais d’échantillonnage ne nécessite pas d’observations incorrectes. Un produit peut réellement coûter 89 $ à un endroit et 93 $ à un autre. Le problème apparaît lorsqu’un environnement est observé des milliers de fois et un autre seulement occasionnellement, alors que l’agrégat est traité comme représentatif du marché plus large.
Concentration géographique. Un ensemble de données national peut refléter de façon disproportionnée des villes ou régions à forte densité.
Concentration ASN ou FAI. De nombreuses IP résidentielles différentes peuvent tout de même provenir d’un nombre relativement restreint de réseaux à large bande.
Biais temporel. Une collecte concentrée sur des heures, jours ou périodes particuliers peut manquer une variation significative ailleurs dans le cycle.
Biais de disponibilité. Les sorties résidentielles sont dynamiques, de sorte que les adresses disponibles à un moment donné peuvent ne pas refléter la distribution disponible plus tard.
Biais d’environnement répété. Des adresses IP différentes ne sont pas nécessairement des environnements d’observation indépendants lorsqu’elles partagent le même FAI, la même ville et le même contexte réseau plus large.
Cela conduit à une distinction opérationnelle importante : l’échec d’une requête est un problème d’infrastructure. Le biais d’échantillonnage peut exister même quand chaque requête réussit.
Nos benchmarks montrent pourquoi les fenêtres de mesure comptent
Nos benchmarks de proxy résidentiel montrent pourquoi les chiffres de réseau affichés en tête d’article nécessitent du contexte. Plutôt que de se fier uniquement à la taille annoncée du pool, nous mesurons les IP actives et joignables pendant une fenêtre de test définie.
Extrait de notre benchmark DataImpulse, l’exécution américaine à 250 000 requêtes par réseau :
| Test US, 250 000 requêtes chacun | Shifter | DataImpulse |
|---|---|---|
| IP actives observées | 136 667 | 86 976 |
| ASN distincts | 1 606 | 967 |
| Villes distinctes | 5 813 | 4 513 |
| Taux de réussite | 99,8% | 99,6% |
La méthodologie compte autant que le résultat. Le décompte représente les IP actives et joignables pendant la fenêtre de test, pas chaque adresse que chaque réseau pourrait fournir sur une journée entière alors que des points de terminaison résidentiels rejoignent et quittent le pool.
C’est cela, la pensée d’échantillonnage : une mesure a une population, une fenêtre, un volume et une méthodologie. Atteindre 1 606 ASN montre un large potentiel de couverture, mais pas la part d’observations apportée par chaque ASN.
L’étape suivante consiste à mesurer non seulement l’étendue du réseau, mais la façon dont les observations réelles ont été distribuées à travers celle-ci. La diversité d’accès et la représentativité de l’échantillon ne sont pas la même chose. Un large pool de proxy crée des points de vue possibles ; c’est la conception de la collecte qui détermine la distribution qui finit dans l’ensemble de données.
Définissez d’abord ce que vous essayez de représenter
Avant de se demander si un ensemble de données est représentatif, il y a une question plus fondamentale : représentatif de quoi ? Il n’existe pas de distribution de proxy universellement correcte.
Si vous surveillez des prix de détail, votre population cible pourrait être les régions dans lesquelles un détaillant opère. Pour la vérification publicitaire, la population pourrait être une combinaison de ville, de FAI, de type d’appareil et d’heure de la journée. Pour une analyse de recherche localisée, une unité d’échantillonnage pertinente pourrait être emplacement par appareil par moteur de recherche par heure, plutôt que simplement une IP britannique.
Notre API SERP prend en charge le géociblage au niveau de la ville et les résultats de recherche sur ordinateur ou mobile précisément parce que le SERP vécu par un utilisateur ne représente pas nécessairement le SERP vécu ailleurs.
Une étude nationale pourrait utiliser une géographie pondérée par population, tandis qu’un autre projet peut exiger une représentation égale des grandes régions commerciales. L’objectif de recherche doit venir en premier.
Plutôt que de dire « collecter 100 000 requêtes britanniques », une meilleure question de conception de données est : quels environnements d’observation britanniques ces 100 000 requêtes devraient-elles représenter, et dans quelles proportions ?
Stratifiez l’échantillon de proxy
Une idée utile issue de la théorie classique de l’échantillonnage est l’échantillonnage stratifié : diviser l’espace d’observation en groupes significatifs et collecter contre chacun de manière délibérée plutôt que de puiser dans un pool national indifférencié.
Pour un ensemble de données couvrant l’ensemble du Royaume-Uni, les strates géographiques pourraient inclure Londres, le Sud-Est, les Midlands, le Nord-Ouest, le Nord-Est, l’Écosse, le Pays de Galles et l’Irlande du Nord. Ces groupes géographiques pourraient ensuite être subdivisés par ASN ou par FAI.
Un plan de collecte pourrait spécifier que l’ensemble de données nécessite des observations provenant de plusieurs systèmes autonomes au sein de chaque région importante, plutôt que d’accepter simplement les sorties que la rotation fournit naturellement. C’est là que le ciblage au niveau de l’infrastructure devient statistiquement utile. Notre infrastructure de proxy résidentiel prend en charge le ciblage par région, ville et ASN, afin que les équipes puissent utiliser ces contrôles non seulement pour l’accès, mais aussi comme partie intégrante de la méthodologie de collecte elle-même.
Les proportions cibles n’ont pas besoin d’être égales. Les chercheurs pourraient utiliser la population, l’empreinte des magasins, la distribution des clients, les dépenses de campagne, ou un suréchantillonnage délibéré des marchés plus petits lorsque des conditions rares comptent.
Le point n’est pas qu’une distribution soit correcte. Le point est que la distribution doit être intentionnelle.
Attribuez un quota à chaque strate
La stratification devient opérationnelle lorsqu’elle est associée à des quotas. Plutôt que de laisser un crawler continuer à puiser des sorties jusqu’à atteindre un objectif global de requêtes, un pipeline conscient de l’échantillonnage pourrait définir des limites et des minimums avant le début de la collecte.
Par exemple, plafonner la concentration ASN, fixer des comptages minimums par région prioritaire, et exiger plusieurs ASN indépendants au sein des villes importantes.
Une fois qu’un quota est rempli, la collecte peut se réorienter vers les strates sous-représentées. La rotation reste importante, mais elle opère à l’intérieur du plan d’échantillonnage plutôt que d’être censée créer la bonne distribution par elle-même.
La sélection du proxy devient alors une partie du contrôle qualité des données.
Le temps fait partie de l’échantillon
La géographie n’est qu’une source de variation. Le temps compte aussi. Un ensemble de données collecté entièrement entre 9h et midi peut ne pas décrire le même monde qu’un ensemble échantillonné tout au long d’un cycle complet de 24 heures.
Cela peut compter pour les prix de voyage, la disponibilité de livraison, l’inventaire de marketplace, les publicités de recherche, les promotions, la tarification dynamique, et les changements de résultats de recherche.
Pour ces cas d’usage, les fenêtres de collecte devraient elles-mêmes devenir des strates. Le matin, l’après-midi, le soir et la nuit pourraient chacun recevoir un quota. Des études plus longues peuvent nécessiter un échantillonnage en semaine et le week-end, ou des observations répétées sur plusieurs jours.
Ceci est particulièrement important car la disponibilité des proxy peut elle-même dépendre du temps. La composition des appareils résidentiels joignables via un réseau change à mesure que les utilisateurs, les connexions et les appareils vont et viennent. Une sortie de proxy n’est donc pas simplement un point de vue géographique. C’est un point de vue dans l’espace et dans le temps.
Rapportez la distribution, pas seulement le volume
La plupart des résumés de collecte mettent l’accent sur l’échelle : requêtes traitées, pages collectées, ou IP utilisées. Ces chiffres montrent le volume, mais pas si l’ensemble de données résultant représente adéquatement sa population cible.
Nous pensons que les ensembles de données web sérieux devraient de plus en plus s’accompagner de quelque chose se rapprochant d’un rapport de couverture d’échantillon.
| Métrique | Ce qu’il faut rapporter | Pourquoi c’est important |
|---|---|---|
| Distribution géographique | Comptages par pays, région et ville | Montre la géographie d’observation |
| Distribution ASN | ASN uniques et concentration | Montre le regroupement réseau |
| Distribution temporelle | Observations par tranche horaire | Montre la concentration de fenêtre temporelle |
| Distribution des appareils | Part par profil d’appareil pertinent | Montre l’équilibre des appareils |
| Qualité de collecte | Réussite et concentration de sortie répétée | Sépare la livraison de la diversité |
| Écarts de couverture | Strates manquantes ou sous-remplies | Rend explicite la sous-représentation |
Cela reflète un principe plus large : la provenance devrait décrire non seulement d’où viennent les données, mais depuis où et quand elles ont été observées. Cet argument est développé intégralement dans l’argumentaire pour une norme de point de vue.
La couverture réseau montre où l’infrastructure pouvait observer. La couverture d’échantillon montre où l’ensemble de données a réellement observé. Les équipes de données ont de plus en plus besoin des deux.
Pour les pipelines de collecte gérés, notre API de Web Scraping gère la rotation de proxy, le rendu de navigateur, la résolution de CAPTCHA et les nouvelles tentatives. La couche méthodologique suivante appartient à la conception de collecte elle-même : décider comment ces observations réussies devraient être distribuées.
La pondération peut corriger le déséquilibre, dans certaines limites
La conception d’échantillonnage ne sera jamais parfaite, et c’est là que la pondération peut aider. Si Londres représente 20% de la distribution cible mais produit 40% des observations, les analystes peuvent réduire son influence tout en donnant plus de poids aux régions sous-représentées.
Le US Census Bureau explique que les unités d’échantillon peuvent avoir des probabilités de sélection différentes et que la réponse et la couverture varient selon les sous-populations. La pondération compense cette représentation différentielle afin que les estimations se rapportent mieux à la population cible.
Mais la pondération a des limites. Si une région pertinente est absente, aucun ajustement ne peut créer des observations qui n’ont jamais été collectées. Même lorsque des observations existent, la pondération fonctionne mieux lorsque les chercheurs comprennent pourquoi des groupes ont été sur- ou sous-représentés.
Les travaux du Pew Research Center sur l’échantillonnage non probabiliste en ligne offrent un parallèle utile : les méthodes de recrutement, de sélection, de collecte sur le terrain et de pondération peuvent affecter matériellement les estimations, et des procédures d’échantillonnage et de pondération plus solides peuvent améliorer certains résultats.
Les répondants d’enquête ne sont pas des IP de proxy résidentiel, mais la leçon méthodologique se transpose : un grand échantillon ne supprime pas le besoin de comprendre comment il a été construit.
L’industrie du proxy a besoin d’un état d’esprit de couverture d’échantillon efficace
Les équipes qui évaluent l’infrastructure de proxy résidentiel posent généralement des questions sur la taille du pool, les pays, le taux de réussite, la latence, la rotation, le géociblage et la couverture ASN. Nous pensons que les questions de qualité d’échantillon ont leur place à côté de celles-ci.
- Concentration des observations. Quel a été le degré de concentration des observations réellement reçues ?
- Participation réseau. Combien d’ASN indépendants ont contribué de manière significative à l’ensemble de données ?
- Équilibre géographique. Quelles strates étaient surreprésentées, sous-représentées ou absentes ?
- Stabilité temporelle. La distribution des observations a-t-elle changé pendant la période de collecte ?
- Charge d’ajustement. Quelle quantité de pondération est nécessaire par la suite pour aligner l’échantillon sur la distribution cible ?
Nous pourrions décrire la réponse collectivement comme couverture d’échantillon effective. Cela ne devrait pas devenir un score universel unique ; la définition pertinente de la couverture dépend de la question de recherche.
Pour un projet, la couverture par ville peut dominer ; pour un autre, la diversité ASN, la couverture temporelle, ou la distribution des appareils peuvent compter davantage. Ce qui importe, c’est de dépasser l’hypothèse selon laquelle davantage d’adresses IP signifie automatiquement un meilleur échantillon statistique.
Une plus grande étendue de réseau crée davantage de possibilités d’échantillonnage. La représentativité dépend toujours de la façon dont cette infrastructure est utilisée.
De l’infrastructure de proxy à l’infrastructure d’observation
Les proxy résidentiels alimentent de plus en plus des pipelines analytiques pour la tarification, les ensembles de données IA, la veille de marché, l’analyse de recherche, la surveillance de marque et la vérification publicitaire, où les données collectées sont utilisées pour décrire quelque chose de plus grand que les pages individuellement demandées.
Cela change la norme pour l’infrastructure de données web. La question n’est plus seulement « pouvons-nous accéder à ce marché ? » mais aussi « pouvons-nous défendre la façon dont nous l’avons observé ? »
Chez Shifter, nous pensons que de grands pools, une large couverture ASN, un géociblage précis et une rotation fiable restent fondamentaux. Ils créent l’espace d’observation, mais ils constituent le début de la méthodologie, pas la fin.
Un pool de proxy résidentiel vous donne des points de vue possibles, et la rotation sélectionne parmi eux. Aucun des deux ne garantit que les observations finales représentent le monde que vous aviez l’intention de mesurer.
Cela nécessite un échantillonnage délibéré, des quotas, une collecte consciente du temps, un rapport de distribution, et, le cas échéant, une pondération statistique. La diversité d’accès et la représentativité de l’échantillon ne sont pas la même chose. La prochaine génération d’infrastructure de données web devrait rendre possible la mesure des deux. Les forfaits et tarifs sont disponibles sur la page de tarification.