Die Erfassung von Immobiliendaten bedeutet, strukturierte Informationen über Objekte aus Portalen und Datenbanken zu ziehen: Preis, Status, Größe, Lage, Makler und die Daten, an denen sich jedes davon geändert hat. Die technische Schwierigkeit besteht darin, dass die Portale, die diese Daten halten, sie als ihr Kernvermögen behandeln und entsprechend verteidigen.
Das macht die Wahl des Proxys folgenreich. Dieser Leitfaden behandelt, was zu erfassen ist, wie man es von den wichtigsten Portalen erfasst, ohne blockiert zu werden, und welche Anfrageraten und Aktualisierungszyklen tatsächlich funktionieren.
Welches Setup Sie Brauchen
Für öffentliche Listing-Seiten: rotierende Residential-Proxys. Die großen Portale betreiben kommerzielle Anti-Bot-Systeme, die Datacenter-Adressbereiche klassifizieren, bevor sie sich irgendetwas anderes ansehen, sodass Datacenter-Proxys unabhängig von der Rate bereits bei der ersten Anfrage scheitern.
Für alles hinter einem Login, einschließlich der meisten MLS-Zugänge: ISP-Proxys, weil die Sitzung überleben muss und eine sich ändernde Adresse sie ungültig machen würde.
Alles Übrige ist Disziplin bei der Anfragerate, die hier mehr zählt als die Wahl des Proxys.
Was Zu Erfassen Ist
| Feld | Warum es wichtig ist | Aktualisierung |
|---|---|---|
| Listing-ID und URL | Der Schlüssel, mit dem alles Übrige verknüpft wird | Einmalig |
| Preis und Preisverlauf | Das primäre Signal in fast jeder Analyse | Täglich |
| Status (aktiv, ausstehend, verkauft, zurückgezogen) | Woher die Marktgeschwindigkeit kommt | Täglich |
| Datum der Einstellung und Aktualisierung | Verweildauer am Markt, die zentrale Gesundheitskennzahl | Täglich |
| Adresse, Koordinaten, Postleitzahl | Geografische Aggregation | Einmalig |
| Schlafzimmer, Bäder, Wohnfläche, Grundstücksgröße | Normalisierung des Preises für Vergleichbarkeit | Einmalig |
| Immobilientyp und Baujahr | Segmentierung | Einmalig |
| Makler und Maklerfirma | Marktanteilsanalyse, und personenbezogene Daten, daher mit Vorsicht behandeln | Einmalig |
| Beschreibung und Merkmale | Textanalyse, Extraktion von Ausstattungsmerkmalen | Wöchentlich |
| Anzahl der Fotos und URLs | Signale zur Listing-Qualität | Wöchentlich |
Die Unterscheidung zwischen Feldern, die sich ändern, und Feldern, die es nicht tun, ist das, was das Volumen handhabbar hält. Preis und Status brauchen tägliche Prüfungen. Die Wohnfläche ändert sich nicht, und sie täglich neu zu erfassen, vervielfacht die Bandbreite ohne jeden Nutzen.
Überwachung von MLS-Datenbanken
MLS-Daten sind die reichhaltigste und zugleich am stärksten eingeschränkte Quelle. Es handelt sich nicht um eine öffentliche Website: Der Zugang wird lizenzierten Teilnehmern im Rahmen einer Vereinbarung gewährt, und der zulässige Weg ist ein Datenfeed und kein Scraper.
- RESO Web API ist der moderne Standard, eine strukturierte API, die JSON zurückliefert, mit inkrementeller Synchronisation, sodass Sie nur Datensätze anfordern, die sich seit Ihrer letzten Abfrage geändert haben. Wenn Sie zum MLS-Zugang berechtigt sind, ist dies die richtige Integration.
- RETS ist der ältere Feed-Standard, an manchen Stellen noch in Betrieb, wird jedoch zugunsten des oben genannten abgelöst.
- Fragen Sie inkrementell ab, nicht vollständig. Fordern Sie Änderungen seit Ihrem letzten Zeitstempel an. Eine vollständige Aktualisierung eines großen MLS ist enorm und unnötig.
- Respektieren Sie die Lizenz. MLS-Vereinbarungen regeln Anzeige, Aufbewahrung und Weiterverbreitung. Ein Verstoß dagegen gefährdet den Zugang selbst, was ein größerer Verlust ist als jeder Datensatz.
Proxys spielen hier eine geringere Rolle als bei öffentlichen Portalen, weil Sie als authentifizierter Teilnehmer auftreten. Wo sie helfen, ist bei der Stabilität: Ein ISP-Proxy gibt der Integration eine feste Adresse, was wichtig ist, wenn der Zugang an registrierte Adressen gebunden ist.
Datenerhebung von den Großen Portalen
Bei öffentlichen Portalen leisten Proxys die eigentliche Arbeit. Jedes verhält sich anders.
Zillow
Starker Anti-Bot-Schutz und aggressive Ratenbegrenzung. Suchergebnisseiten sind der effiziente Einstiegspunkt, da sie die meisten zusammenfassenden Felder tragen, ohne jedes einzelne Listing besuchen zu müssen.
- Proxy: rotierend, residential, mit US-Geo-Targeting.
- Rate: konservativ. Eine Anfrage alle 3 bis 5 Sekunden pro Adresse.
- Achten Sie auf: kartenbasierte Suche, die Daten über interne Endpunkte statt über HTML liefert, was sowohl effizienter als auch stärker überwacht ist.
Redfin
Etwas toleranter als Zillow und besser strukturiert. Daten sind oft in eingebettetem JSON verfügbar, statt HTML-Parsing zu erfordern.
- Proxy: rotierend, residential, US.
- Rate: eine Anfrage alle 2 bis 3 Sekunden pro Adresse.
- Achten Sie auf: die Abdeckung variiert je nach Markt, sodass das Fehlen eines Listings kein Beweis dafür ist, dass es nicht existiert.
Realtor.com
Direkte MLS-Syndizierung, sodass die Daten aktuell sind, bei moderatem Schutz.
- Proxy: rotierend, residential, US.
- Rate: eine Anfrage alle 2 bis 4 Sekunden pro Adresse.
Rightmove und Zoopla
Die beiden führenden britischen Portale. Beide verteidigen sich, Rightmove strenger als das andere.
- Proxy: rotierend, residential, mit UK-Geo-Targeting. Nicht-britische Adressen sehen andere Ergebnisse oder gar keine.
- Rate: eine Anfrage alle 3 bis 5 Sekunden pro Adresse.
- Achten Sie auf: beide listen dieselben Immobilien über unterschiedliche Makler, deduplizieren Sie daher nach Adresse und nicht nach Listing-ID.
Anfrageraten, Rotation und Nebenläufigkeit
Die Rate ist der entscheidende Faktor dafür, ob die Erfassung überlebt. Die meisten Blockierten wurden nicht als Proxy erkannt, sondern daran, dass sie es eilig hatten.
- Rate pro Adresse: eine Anfrage alle 2 bis 5 Sekunden bei Portalen. Langsamer, als es nötig erscheint, und genau deshalb gibt es Nebenläufigkeit.
- Nebenläufigkeit statt Geschwindigkeit: um schneller zu erfassen, fügen Sie Adressen hinzu, statt das Intervall zu verkürzen. 10 Adressen mit je einer Anfrage alle 3 Sekunden ergeben insgesamt etwa 3 Anfragen pro Sekunde, was 10.000 Listings in etwa einer Stunde abarbeitet.
- Rotation: pro Anfrage beim Durchsuchen unabhängiger Listing-Seiten. Sticky Sessions für die Paginierung einer Suche, die einen Cursor trägt, nur so lange gehalten, bis die Paginierung abgeschlossen ist.
- Fügen Sie Jitter hinzu. Anfragen in exakt 3,0-Sekunden-Intervallen sind eine Signatur. Variieren Sie zwischen 2 und 5 Sekunden.
- Erfassen Sie außerhalb der Spitzenzeiten in der Zeitzone des Zielmarkts. Niedrigerer Grundverkehr bedeutet, dass Ihre Anfragen einen kleineren Anteil am Gesamtverkehr ausmachen, und Ratenbegrenzungen sind meist lockerer.
Wenn Blockierungen beginnen
- Lesen Sie die Antwort. Ein 429 ist eine Ratenbegrenzung und bedeutet: verlangsamen. Eine Challenge-Seite bedeutet, dass Ihr Fingerabdruck das Problem ist, nicht Ihre Rate.
- Halbieren Sie zuerst die Rate. Das ist die günstigste Lösung und meist die richtige.
- Prüfen Sie Header und Fingerabdruck. Ein bloßer
User-Agentbei einer ansonsten leeren Anfrage ist ein offensichtliches Bot-Signal. - Wiederholen Sie nicht gegen eine Blockierung. Exponentieller Backoff. Das Hämmern auf eine weiche Ratenbegrenzung verwandelt sie in eine harte Sperre der Adresse.
- Überdenken Sie das Ziel. Wenn ein Portal mehr an Wiederholungsversuchen kostet, als die Daten einbringen, übernimmt die Web Scraping API für Sie das Rendering und die Challenges zu einem höheren Stückpreis, aber mit deutlich geringerem Wartungsaufwand.
Aktualisierungsrhythmus
- Täglich: neue Listings, Statusänderungen, Preisänderungen. Hier liegt fast der gesamte analytische Wert.
- Wöchentlich: Beschreibungen, Fotos, Maklerdetails. Diese ändern sich selten, nachdem ein Listing live geht.
- Einmalig: Adresse, Koordinaten, Größe, Immobilientyp. Strukturelle Fakten.
Diese Aufteilung des Zeitplans senkt typischerweise die Bandbreite um mehr als die Hälfte gegenüber einer täglichen Neuerfassung von allem, ohne Signalverlust.
Fazit
Die Erfassung von Immobiliendaten ist überwiegend ein Disziplinproblem und kein technisches. Verwenden Sie Residential-Proxys, weil Portale Datacenter-Adressen auf den ersten Blick erkennen, halten Sie die Anfrageraten pro Adresse niedrig und fügen Sie stattdessen Nebenläufigkeit hinzu, und teilen Sie Ihren Aktualisierungsplan danach auf, wie oft sich jedes Feld tatsächlich ändert.
Für die Mechanik des Scrapings im Allgemeinen siehe Web Scraping Proxys, für die kommerzielle Anwendung Price Intelligence, und für die rechtliche Grundlage Legalität von Proxys und Scraping. Shifters Residential-Proxys decken das Geo-Targeting ab, das diese Portale erfordern, mit Preisen auf der Preisseite.