Comment scraper les données d'entreprises locales (Google Maps et annuaires) avec des proxys

Les données d’entreprises locales, les noms, adresses, numéros de téléphone, horaires, catégories, avis, et classements derrière chaque entreprise sur Google Maps et les annuaires, alimentent une quantité surprenante de travail : suivi de classement en SEO local, listes de leads B2B, étude de marché, vérification de fiches, et surveillance de réputation. Mais il y a un piège qui casse en silence la plupart des tentatives de les collecter : les données locales sont servies selon la localisation. Ce que Google Maps montre à un chercheur à Chicago n’est pas ce qu’il montre à un chercheur à Berlin, et le classement dans le local pack qu’une entreprise détient dans une ville est différent dans la suivante.

Ce seul fait transforme la collecte de données locales en un problème d’accès. Essayez de scraper Maps ou un annuaire depuis une IP de datacenter ou un seul emplacement de bureau, et vous êtes bloqué, on vous sert un CAPTCHA, ou, pire, on vous sert les résultats locaux de quelqu’un d’autre en vous disant que c’est la vérité. C’est là qu’interviennent les proxys résidentiels : ils vous laissent collecter des données d’entreprises locales exactement comme les verrait un vrai utilisateur se tenant dans cette ville, ce qui est la seule façon que les données ressortent correctes. Voici comment, et pourquoi ça compte.

Ce que couvrent réellement les « données d’entreprises locales »

En son cœur, il s’agit de collecter systématiquement les fiches d’entreprises et leurs signaux à travers les surfaces où les gens trouvent des entreprises locales :

• Plateformes de cartes et de fiches — Google Maps et les fiches d’établissement, plus l’écosystème d’annuaires plus large, les sources primaires de nom/adresse/téléphone (NAP), horaires, et catégories.
• Résultats de recherche locale — le local pack et les résultats cartographiques qui apparaissent pour les requêtes « à proximité » et qualifiées par ville, où le classement local se décide.
• Notes et avis — notes en étoiles, nombres d’avis, et texte des avis qui alimentent la réputation et le classement.
• Attributs et données riches — photos, heures d’affluence, options de service, et tags de catégorie.

Les équipes l’utilisent pour le SEO local et le suivi de classement (où une entreprise se classe-t-elle dans le pack, par ville ?), la génération de leads (constituer des listes d’entreprises d’une catégorie et d’une zone), la recherche concurrentielle et de marché (quelle est la densité de la concurrence dans chaque marché ?), la vérification NAP et l’enrichissement de données, et la surveillance de réputation multi-établissements. Tout cela dépend de capturer ce qu’un vrai chercheur local voit réellement. Et ce qu’il voit dépend entièrement d’où il cherche.

Pourquoi c’est un problème de proxy

Trois propriétés des données locales font de leur collecte un problème qui atterrit en plein sur la couche proxy.

Les résultats locaux sont géo-servis, jusqu’à la ville. C’est le grand point. Les classements cartographiques, le local pack, et les résultats « à proximité » sont calculés à partir de la localisation physique du chercheur. Un restaurant qui se classe #1 dans son propre quartier peut ne pas apparaître du tout à quelques villes de distance. Si toute votre collecte part d’un seul emplacement, vous mesurez les résultats locaux d’une ville et les appelez universels, ce qui est tout simplement une donnée fausse pour tous les autres marchés. Voir le vrai classement local d’une entreprise dans une ville donnée exige d’interroger depuis cette ville, ce pour quoi le ciblage au niveau de la ville existe précisément. Les annuaires ajoutent leur propre personnalisation régionale par-dessus.

Ces sources sont fortement défendues. Maps et les grands annuaires font tourner des systèmes anti-bot agressifs. Une IP de datacenter est signalée au premier coup d’œil et reçoit un CAPTCHA, un blocage, ou un résultat allégé, donc vous enregistrez la version bot de la fiche, pas la vraie. (Pourquoi les scrapers se font bloquer couvre la mécanique.) Les IP résidentielles portent la confiance d’un vrai utilisateur, donc vous voyez le résultat local complet et réel qu’obtient une vraie personne.

La couverture est large et répétée. Suivre de nombreuses entreprises, catégories, et requêtes à travers de nombreuses villes, dans le temps, ce sont beaucoup de requêtes. Depuis une poignée d’IP vous déclenchez des rate limits et obtenez un échantillon partiel et biaisé, en manquant justement les requêtes à forte valeur que la source défend le plus durement. Un grand pool rotatif est ce qui garde la couverture complète.

Le correctif pour les trois est le même : collecter depuis des IP qui ressemblent à de vrais utilisateurs physiquement situés dans chaque ville cible.

Où s’inscrivent les proxys résidentiels

Un proxy résidentiel fait passer vos requêtes par de vraies IP grand public, donc Maps et les annuaires vous répondent comme ils répondraient à un vrai utilisateur local. Pour les données d’entreprises locales spécifiquement, cela débloque :

De vrais résultats locaux, pas une approximation lointaine. Avec le geo-targeting jusqu’à la ville, vous interrogez le local pack et les résultats cartographiques en tant qu’utilisateur se tenant dans cette ville, donc les classements, fiches, et résultats « à proximité » que vous capturez sont ceux que voient les vrais locaux. C’est la différence entre un rapport de classement local que vous pouvez facturer à un client et une supposition.

La vraie fiche, pas la version bot. Parce que les IP résidentielles portent la confiance d’un vrai utilisateur, vous obtenez le profil d’entreprise complet, notes, horaires, attributs, nombres d’avis, plutôt que la page dégradée ou bloquée servie au trafic suspect.

Une couverture complète à travers chaque marché. Un grand pool rotatif répartit les requêtes pour que vous puissiez suivre de nombreuses entreprises à travers de nombreuses villes en continu sans être bloqué, gardant votre jeu de données local complet plutôt que fragmentaire. (Les mêmes principes de qualité de collecte que dans proxys résidentiels pour la collecte de données s’appliquent, et cela s’accorde avec les résultats de recherche Google localisés, étroitement liés.)

En clair : les proxys résidentiels transforment « les résultats locaux que notre bureau a vus par hasard » en « les résultats locaux que voit un vrai client dans chaque ville qui nous importe ».

Comment ça marche

Sur le gateway Shifter, vous choisissez une ville en l’encodant dans le nom d’utilisateur du proxy, un point de terminaison, pas de listes d’IP à gérer :

# Collecter les résultats locaux en tant que chercheur à Chicago
curl -x customer-USERNAME-country-us-city-chicago:PASSWORD@p.shifter.io:443 https://maps-or-directory.example

# Même catégorie d'entreprise, un marché différent
curl -x customer-USERNAME-country-de-city-munich:PASSWORD@p.shifter.io:443 https://maps-or-directory.example

La règle qui vous sauve des mauvaises données : accordez la localisation de la requête à la localisation du proxy. Si vous demandez des résultats pour Chicago, faites passer le trafic par une IP résidentielle de Chicago, ne demandez pas les résultats d’une ville depuis l’IP d’une autre ville, sinon le propre signal de localisation de la plateforme contredit votre requête et le classement n’a aucun sens. Gardez une session sticky quand vous parcourez des résultats à plusieurs étapes pour que la séquence ressemble à un utilisateur ; tournez dans le pool quand vous passez à la ville ou à l’entreprise suivante. Même gateway, ciblage différent par requête, alimentant n’importe quel pipeline de collecte que vous avez construit. (Être bloqué de façon constante plutôt qu’occasionnelle pointe vers la qualité d’IP ou le comportement des requêtes, pas la géo, voir comment éviter de se faire bloquer en scrapant.)

L’utiliser de façon responsable

Les données d’entreprises locales sont largement publiques, les fiches, horaires, et notes que tout chercheur peut voir. Cela les maintient sur un terrain solide, mais collectez-les de façon responsable : rassemblez de l’information publique sur les entreprises, respectez les conditions et rate limits de chaque plateforme, ne dégradez pas les services que vous interrogez, et tenez-vous à l’écart des données personnelles, les identités des auteurs d’avis et toute information personnelle attachée aux avis ne sont pas de bon jeu. Un proxy change l’IP d’où part une requête, pas le fait que vous deviez la faire ; notre politique d’usage acceptable est la source de vérité pour ce qui est permis sur Shifter.

FAQ

Pourquoi ai-je besoin de proxys pour scraper Google Maps ou les annuaires locaux ? Parce que les résultats locaux sont servis selon la localisation physique et que ces plateformes sont fortement défendues. Depuis un seul emplacement ou une IP de datacenter, vous voyez les résultats d’une ville (ou une version bloquée/CAPTCHA). Les proxys résidentiels vous laissent interroger en tant qu’utilisateur réel dans chaque ville cible, donc les classements et fiches que vous collectez sont les vrais locaux.

Les classements locaux changent-ils vraiment autant selon la ville ? Oui. Le local pack et les classements cartographiques sont calculés à partir de la localisation du chercheur, une entreprise peut être première dans sa propre ville et ne pas apparaître à quelques villes de distance. Mesurer depuis un seul endroit vous donne la réponse d’une ville et déforme partout ailleurs.

Quelles données locales puis-je collecter ainsi ? Noms d’entreprises, adresses, numéros de téléphone, horaires, catégories, notes et nombres d’avis, attributs, et rang dans le local pack/la carte, tout signal de fiche public qui varie selon la localisation profite de la collecte résidentielle au niveau de la ville.

Proxys résidentiels ou datacenter pour les données locales ? Résidentiels. Maps et les annuaires détectent et traitent les IP de datacenter différemment, donc le datacenter vous donne des résultats bloqués ou allégés. Les IP résidentielles voient les fiches et classements réels et géo-précis qu’un vrai chercheur local verrait.

Est-il légal de scraper les données d’entreprises locales ? Les fiches locales sont publiques, et la collecte travaille en général avec des données publiques, ce qui est largement correct quand c’est fait de façon responsable (en respectant les conditions et rate limits, et en évitant les données personnelles comme les identités des auteurs d’avis). Un proxy ne change pas la légalité de l’activité sous-jacente ; obtenez un conseil juridique pour tout ce qui est incertain.

En résumé

Les données d’entreprises locales ne sont utiles que si ce sont les données qu’un vrai chercheur local voit réellement, et parce que Maps et les annuaires servent des résultats selon la localisation physique et se défendent durement contre les bots, les collecter depuis l’IP d’un bureau vous donne la réponse d’une ville déguisée en vérité. Pour bien faire, vous devez interroger en tant que vrai utilisateur dans chaque ville cible, ce qui est exactement ce que fournissent les proxys résidentiels : de vrais classements et fiches locaux, le profil réel complet au lieu de la version bot, et une couverture complète à travers chaque marché sans être bloqué.

Si votre équipe fait du SEO local, de la génération de leads, ou de la surveillance multi-établissements, un réseau de proxys résidentiels de qualité avec ciblage au niveau de la ville est ce qui rend l’image locale précise plutôt qu’approximative. La qualité du pool décide de la complétude de cette couverture, alors il vaut la peine de comprendre la réputation d’IP en évaluant. La page tarifs propose les forfaits au Go pour l’essayer contre les villes et catégories qui vous importent.