Est-il légal de scraper les données d'annonces immobilières ?

La collecte de données d'annonces visibles publiquement est généralement défendable aux États-Unis, au Royaume-Uni et dans l'UE. La situation change derrière une connexion, ce qui est le cas de la plupart des données MLS, car vous avez accepté des conditions pour obtenir le compte. Les noms d'agents et les coordonnées sont des données personnelles et entraînent des obligations en matière de protection des données. Demandez conseil avant de lancer quoi que ce soit à grande échelle.

Quel type de proxy fonctionne le mieux pour les portails immobiliers ?

Les proxies résidentiels rotatifs. Les grands portails utilisent des systèmes anti-bot commerciaux qui identifient immédiatement les plages d'adresses de centres de données, donc les proxies datacenter échouent d'emblée. Utilisez des proxies ISP pour tout ce qui se trouve derrière une connexion, où la session doit persister, et gardez les proxies résidentiels pour les pages d'annonces publiques.

Combien de proxies sont nécessaires pour surveiller les annonces quotidiennement ?

Raisonnez en fonction du taux de requêtes plutôt que du nombre d'adresses. Suivre 10 000 annonces par jour à raison d'une requête toutes les 3 secondes par adresse nécessite environ 5 à 10 adresses simultanées pour terminer confortablement en quelques heures. Avec un pool rotatif, vous définissez la concurrence plutôt que d'acheter des adresses.

Pourquoi les sites immobiliers bloquent-ils les scrapers de manière si agressive ?

Les données d'annonces sont leur produit. Les portails investissent massivement dans leur acquisition et leur structuration, et les concurrents veulent les mêmes données, donc ils les défendent avec des systèmes anti-bot commerciaux, des limites de taux agressives et des conditions de licence. C'est une décision commerciale plutôt que technique, ce qui explique pourquoi des taux de requêtes raisonnables comptent plus que des contournements astucieux.

À quelle fréquence les données d'annonces doivent-elles être actualisées ?

Quotidiennement pour les nouvelles annonces et les changements de statut, ce qui représente la valeur principale sur la plupart des marchés. Les changements de prix valent la peine d'être vérifiés quotidiennement sur les marchés rapides et hebdomadairement sur les marchés lents. Les actualisations complètes des fiches, y compris les descriptions et les photos, ont rarement besoin d'être plus fréquentes qu'hebdomadaires, car ces champs changent peu après la mise en ligne d'une annonce.

Scraper des annonces immobilières avec des proxies

Découvrez comment collecter des données d'annonces immobilières à partir des bases MLS et des principaux portails grâce aux proxies résidentiels, à des taux de requêtes sûrs et à la rotation.

La collecte de données immobilières consiste à extraire des informations structurées sur les biens à partir de portails et de bases de données : prix, statut, taille, localisation, agent et les dates auxquelles chacun de ces éléments a changé. La difficulté technique vient du fait que les portails détenant ces données les considèrent comme leur actif principal et les défendent en conséquence.

Cela rend le choix du proxy déterminant. Ce guide couvre ce qu’il faut collecter, comment le collecter depuis les principaux portails sans être bloqué, et quels taux de requêtes et cycles de rafraîchissement fonctionnent réellement.

Quelle configuration vous faut-il

Pour les pages d’annonces publiques, des proxies résidentiels rotatifs. Les principaux portails font tourner des systèmes anti-bot commerciaux qui classifient les plages d’adresses de centres de données avant même d’examiner autre chose, si bien que les proxies de centres de données échouent dès la première requête, quel que soit le rythme.

Pour tout ce qui se trouve derrière une connexion, y compris la plupart des accès MLS, des proxies ISP, car la session doit survivre et une adresse changeante l’invaliderait.

Tout le reste relève de la discipline du taux de requêtes, qui compte ici plus que le choix du proxy.

Que collecter

Champ	Pourquoi c’est important	Rafraîchissement
ID de l’annonce et URL	La clé sur laquelle tout le reste se joint	Une fois
Prix et historique des prix	Le signal principal dans presque toutes les analyses	Quotidien
Statut (actif, en attente, vendu, retiré)	D’où provient la vélocité du marché	Quotidien
Dates de mise en ligne et de mise à jour	Jours sur le marché, l’indicateur de santé principal	Quotidien
Adresse, coordonnées, code postal	Agrégation géographique	Une fois
Chambres, salles de bain, surface, taille du terrain	Normalisation du prix en comparables	Une fois
Type de bien et année de construction	Segmentation	Une fois
Agent et agence	Analyse de part de marché, et données personnelles, donc à traiter avec précaution	Une fois
Description et caractéristiques	Analyse de texte, extraction des équipements	Hebdomadaire
Nombre de photos et URLs	Signaux de qualité de l’annonce	Hebdomadaire

La distinction entre les champs qui changent et ceux qui ne changent pas est ce qui permet de garder un volume gérable. Le prix et le statut nécessitent des vérifications quotidiennes. La surface ne change pas, et la recollecter chaque jour multiplie votre bande passante pour rien.

Surveiller les bases de données MLS

Les données MLS sont la source la plus riche et la plus restreinte. Ce n’est pas un site web public : l’accès est accordé aux participants agréés dans le cadre d’un accord, et la voie sanctionnée est un flux de données plutôt qu’un scraper.

RESO Web API est le standard moderne, une API structurée renvoyant du JSON, avec une synchronisation incrémentale permettant de ne demander que les enregistrements modifiés depuis votre dernière interrogation. Si vous avez droit à un accès MLS, c’est la bonne intégration.
RETS est l’ancien standard de flux, encore en service à certains endroits, en cours de retrait au profit du précédent.
Interrogez de manière incrémentale, pas complète. Demandez les changements depuis votre dernier horodatage. Un rafraîchissement complet d’un grand MLS est énorme et inutile.
Respectez la licence. Les accords MLS régissent l’affichage, la conservation et la redistribution. Les enfreindre met en péril l’accès lui-même, ce qui représente une perte bien plus importante que n’importe quel jeu de données.

Les proxies comptent moins ici que pour les portails publics, car vous êtes un participant authentifié. Là où ils aident, c’est pour la stabilité : un proxy ISP donne à l’intégration une adresse fixe unique, ce qui compte quand l’accès est lié à des adresses enregistrées.

Récupérer des données depuis les principaux portails

Les portails publics sont là où les proxies font le travail. Chacun se comporte différemment.

Zillow

Protection anti-bot lourde et limitation agressive du taux de requêtes. Les pages de résultats de recherche constituent le point d’entrée efficace car elles portent la plupart des champs de résumé sans avoir à visiter chaque annonce.

Proxy : résidentiel rotatif, géociblé US.
Taux : conservateur. Une requête toutes les 3 à 5 secondes par adresse.
Attention à : la recherche par carte qui renvoie les données via des points de terminaison internes plutôt que le HTML, ce qui est à la fois plus efficace et plus étroitement surveillé.

Redfin

Un peu plus tolérant que Zillow, et mieux structuré. Les données sont souvent disponibles en JSON intégré plutôt que de nécessiter un parsing HTML.

Proxy : résidentiel rotatif, US.
Taux : une requête toutes les 2 à 3 secondes par adresse.
Attention à : la couverture varie selon le marché, donc l’absence d’une annonce n’est pas la preuve qu’elle n’existe pas.

Realtor.com

Syndication MLS directe, donc les données sont à jour, avec une protection modérée.

Proxy : résidentiel rotatif, US.
Taux : une requête toutes les 2 à 4 secondes par adresse.

Rightmove et Zoopla

Les deux portails dominants au Royaume-Uni. Les deux se défendent, Rightmove étant le plus strict des deux.

Proxy : résidentiel rotatif, géociblé UK. Les adresses non-UK voient des résultats différents ou aucun.
Taux : une requête toutes les 3 à 5 secondes par adresse.
Attention à : les deux listent les mêmes biens via des agents différents, donc dédupliquez sur l’adresse plutôt que sur l’ID de l’annonce.

Taux de requêtes, rotation et concurrence

Le taux est le facteur le plus déterminant pour la survie de la collecte. La plupart des personnes bloquées n’ont pas été détectées comme un proxy, elles ont été détectées comme étant pressées.

Taux par adresse : une requête toutes les 2 à 5 secondes sur les portails. Plus lent que ce qui semble nécessaire, et c’est pourquoi la concurrence existe.
Concurrence, pas vitesse : pour collecter plus vite, ajoutez des adresses plutôt que de raccourcir l’intervalle. 10 adresses à une requête toutes les 3 secondes donnent environ 3 requêtes par seconde au total, ce qui traite 10 000 annonces en environ une heure.
Rotation : par requête pour naviguer sur des pages d’annonces indépendantes. Sessions persistantes pour paginer une recherche portant un curseur, maintenues juste le temps nécessaire pour terminer la pagination.
Ajoutez du jitter. Des requêtes à exactement 3,0 secondes d’intervalle constituent une signature. Variez entre 2 et 5 secondes.
Collectez en dehors des heures de pointe dans le fuseau horaire du marché cible. Un trafic de base plus faible signifie que vos requêtes représentent une part plus petite du total, et les limites de taux sont généralement plus souples.

Quand les blocages commencent

Lisez la réponse. Un 429 est une limite de taux et signifie qu’il faut ralentir. Une page de challenge signifie que votre empreinte est le problème, pas votre taux.
Réduisez d’abord le taux de moitié. C’est la correction la moins coûteuse et généralement la bonne.
Vérifiez les en-têtes et l’empreinte. Un User-Agent nu sur une requête par ailleurs vide est un signal de bot évident.
Ne relancez pas dans un blocage. Backoff exponentiel. Marteler une limite de taux souple la transforme en interdiction dure de l’adresse.
Reconsidérez la cible. Si un portail coûte plus en tentatives qu’il ne rapporte de données, la Web Scraping API gère le rendu et les challenges pour vous, à un prix unitaire plus élevé mais avec bien moins de maintenance.

Cadence de rafraîchissement

Quotidien : nouvelles annonces, changements de statut, changements de prix. C’est là que réside presque toute la valeur analytique.
Hebdomadaire : descriptions, photos, détails de l’agent. Ces éléments changent rarement une fois l’annonce en ligne.
Une fois : adresse, coordonnées, taille, type de bien. Faits structurels.

Diviser le calendrier de cette façon réduit généralement la bande passante de plus de la moitié par rapport à une recollecte quotidienne de tout, sans perte de signal.

Conclusion

La collecte de données immobilières est surtout un problème de discipline plutôt que technique. Utilisez des proxies résidentiels car les portails classifient les adresses de centres de données à vue, gardez des taux de requêtes lents par adresse et ajoutez de la concurrence à la place, et divisez votre calendrier de rafraîchissement selon la fréquence réelle de changement de chaque champ.

Pour les mécanismes du scraping en général, voir proxies pour le web scraping, pour l’application commerciale l’intelligence des prix, et pour le terrain juridique légalité des proxies et du scraping. Les proxies résidentiels de Shifter couvrent le géociblage requis par ces portails, avec les tarifs sur la page de tarification.

Proxies pour les données immobilières : comment surveiller et extraire les annonces