Scraping von Bewertungen, Mieten und Hypothekendaten für PropTech-Plattformen

PropTech-Teams neigen dazu, ihren Datenbedarf als “Immobiliendaten” zu beschreiben, als wären Bewertungen, Mieten und Hypothekenzinsen drei Spalten einer Tabelle. Es sind drei unterschiedliche Probleme. Sie stammen aus unterschiedlichen Quellen, unterliegen unterschiedlichen Lizenz- und Datenschutzauflagen und bedeuten, was am wichtigsten ist, unterschiedliche Dinge.

Die Fehler, die daraus entstehen, sie als einen einzigen Datensatz zu behandeln, sind keine Erfassungsfehler. Es sind Kennzeichnungsfehler, und sie zeigen sich erst viel später, wenn ein Nutzer eine Zahl anzweifelt, die Ihr Produkt als Tatsache präsentiert hat.

Drei Datentypen, drei Beschaffungsrealitäten

Bevor Sie einen Collector schreiben, sollten Sie klären, welchen dieser Datentypen Sie tatsächlich erfassen, denn die Antwort bestimmt sowohl die Methode als auch das, was Sie behaupten dürfen.

Datentyp	Maßgebliche Quelle	Was das Web liefert	Was es nicht ist
Transaktionspreise	Öffentliche Register: Grundbuch, Urkunden, Gutachterlisten	Verkaufspreise, Übertragungsdaten, Parzellenmerkmale	Kein aktueller Marktwert
Bewertete Werte	Steuergutachterlisten	Eine Bewertung zu Besteuerungszwecken	Keine Marktbewertung
Portalschätzungen	Das eigene Modell des Portals	Ein proprietäres Modellergebnis	Kein Gutachten, keine Tatsache
Angebotsmieten	Aktive Inserate	Was Vermieter heute verlangen	Nicht das, was Mieter zahlen
Erzielte Mieten	Lizenzierte Datensätze, Betreiberdaten	Selten öffentlich	Nicht aus Inseraten ableitbar
Hypothekenzinsen	Zinsseiten der Kreditgeber, offizielle Statistikreihen	Veröffentlichte Zinssätze nach Produkt und Stufe	Nicht der Zinssatz, den ein einzelner Kreditnehmer erhielt

Die nützlichste Disziplin bei PropTech-Daten überhaupt besteht darin, “beobachtet”, “bewertet”, “verlangt” und “geschätzt” in getrennten Spalten zu halten und sie niemals in ein einziges Feld namens value zusammenfallen zu lassen.

Beginnen Sie mit den Quellen, die dafür vorgesehen sind

Arbeiten Sie diese Reihenfolge von oben nach unten ab und greifen Sie nur für das, was die oberen Ebenen tatsächlich nicht abdecken, auf die unterste Ebene zurück.

Offizielle Quellen und Massendaten zuerst. Grundbuchämter, Gutachterbehörden und Statistikämter veröffentlichen häufig Massendateien oder APIs. Sie sind maßgeblich, sie sind erlaubt, und sie enthalten eine Historie, die Sie extern nicht rekonstruieren können. Für Transaktionspreise und Parzellenmerkmale ist dies in der Regel die vollständige Antwort.

Lizenzierte Feeds an zweiter Stelle. Makler- und Multi-Listing-Daten sind in der Regel unter Lizenz verfügbar. Wo Ihr Produkt vollständige Inseratsabdeckung mit zuverlässigen Feldern benötigt, ist eine Lizenz günstiger als der technische und rechtliche Aufwand der Alternative.

Öffentliche Web-Beobachtung zuletzt, für das, was die ersten beiden nicht liefern: Angebotsmieten und deren Zugeständnisse, laufender Bestand, veröffentlichte Zinstabellen der Kreditgeber und wie sich all dies je nach Markt unterscheidet.

Direkt auf die unterste Ebene zu springen, ist der häufigste und teuerste Fehler in dieser Kategorie. Die Inserate-Seite dieser Arbeit wird behandelt in Proxies für Immobiliendaten.

Bewertungen: Präsentieren Sie niemals ein Modell als Messung

Portalschätzungen sind Modellergebnisse, trainiert auf Daten, die Sie nicht einsehen können, mit Fehlerverteilungen, die das Portal veröffentlichen mag oder nicht. Sie sind als Merkmal in Ihrem eigenen Modell nützlich und sind keine Bewertung.

Drei Regeln halten dies vertretbar. Speichern Sie die Schätzung mit ihrer Quelle und dem Datum ihrer Beobachtung, niemals als nackte Zahl. Kennzeichnen Sie sie nicht um: Eine Schätzung ist eine Schätzung, kein “Marktwert”. Und wenn Ihr eigenes Produkt eine Bewertung erzeugt, veröffentlichen Sie ein Konfidenzintervall dazu, denn eine Punktschätzung ohne ein solches wird als eine Präzision gelesen, die Sie nicht haben.

Für alles, was einer formalen Bewertung nahekommt, sind die erfassten Daten ein Input für einen professionellen Prozess, kein Ersatz dafür.

Mieten: Verlangt ist nicht erzielt, und das Zugeständnis steckt im Text

Inseratsmieten sind Angebotsmieten. In einem schwachen Markt liegen sie über dem, was Mieter tatsächlich zahlen, und in dieser Lücke verstecken sich die Zugeständnisse: ein Monat gratis, erlassene Gebühren, ein inbegriffener Parkplatz, eine kürzere Laufzeit zu einem anderen Preis.

Diese Zugeständnisse stehen üblicherweise im freien Beschreibungstext statt in einem strukturierten Feld, was bedeutet, dass eine Angebotsmietreihe, die allein auf dem Mietfeld basiert, genau in den Bedingungen systematisch falsch ist, die man am meisten messen möchte. Durchsuchen Sie die Beschreibung nach Zugeständnis-Sprache und speichern Sie diese als eigenes Feld, auch wenn Sie nur eine Markierung und den Rohsatz extrahieren können.

Zwei weitere praktische Hinweise. Normalisieren Sie auf eine vergleichbare Einheit, typischerweise Miete pro Zeitraum pro Schlafzimmeranzahl oder pro Wohnfläche, da ein Median über gemischte Einheitentypen ebenso den Mix wie den Markt misst. Und halten Sie Beobachtungen auf Einheiten- und auf Gebäudeebene getrennt, denn ein Gebäude, in dem eine Einheit inseriert wird, vermietet nicht das ganze Gebäude zu diesem Preis.

Hypothekendaten: Zinssätze sind eine Matrix, keine Zahl

Veröffentlichte Kreditgeberzinsen variieren nach Produkt, Laufzeit, Beleihungswertgrenze (Loan-to-Value), Kreditnehmerstufe, Region und manchmal Kanal. Ein Scraper, der “den Zinssatz” von einer Kreditgeberseite speichert, hat eine Zelle einer Matrix erfasst und die Achsen weggeworfen.

Erfassen Sie das Produkt, die Laufzeit, die LTV-Bandbreite, alle angegebenen Kreditnehmerbedingungen, Punkte oder Gebühren, ob es sich um einen Nominalzins oder einen effektiven Jahreszins (APR) handelt, das vom Kreditgeber angegebene Gültigkeitsdatum und das Datum Ihrer Beobachtung. Die Unterscheidung zwischen Nominalzins und APR verursacht die meiste nachgelagerte Verwirrung, denn die beiden sind nicht vergleichbar und erscheinen dennoch beide auf derselben Seite.

Offizielle Statistikreihen von Zentralbanken und Wohnungsbaubehörden sind die Referenzwahrheit, an der Sie Ihre Erfassung auf Plausibilität prüfen sollten. Wenn Ihr erfasster Durchschnitt von der veröffentlichten Reihe abweicht, hat sich in der Regel die Erfassung verändert.

Eine Grenze ist nicht verhandelbar: Erfassen Sie veröffentlichte Zinssätze und Bedingungen, niemals Daten auf Ebene einzelner Kreditnehmer. Einzelne Anträge, Kreditauskünfte und persönliche Finanzdaten sind keine öffentlichen Webdaten, und nichts in einer PropTech-Roadmap rechtfertigt es, diese anzustreben.

Die Erfassungsebene

Zwei Eigenschaften dieser Quellen machen den Beobachtungsstandort zu einem Teil der Methode.

Zinstabellen der Kreditgeber und Portalinhalte sind regionalisiert, sodass der Zinssatz oder das Inserat, das Sie sehen, davon abhängt, woher die Anfrage scheinbar kommt. Und Zinssätze insbesondere können sich innerhalb eines Landes je nach Bundesstaat oder Region unterscheiden, was bedeutet, dass ein einzelner nationaler Beobachtungsstandort stillschweigend die Zinssätze einer Region als den Markt ausgibt.

Mit dem Shifter-Gateway werden Standort und Sitzung in den Anmeldedaten gegen p.shifter.io:443 angegeben:

customer-USERNAME-country-us-state-tx-sid-rates-tx-11-ttl-600:PASSWORD

country-us und state-tx platzieren die Anfrage in dem Markt, dessen Zinssätze Sie auslesen, sid-rates-tx-11 hält einen Exit über einen vollständigen Durchlauf der Zinstabelle, sodass jede Zelle eines Snapshots aus einer Sitzung stammt, und ttl-600 behält diese Adresse zehn Minuten lang bei. ttl bewirkt nur etwas zusammen mit sid; ohne eine Sitzungskennung rotiert das Gateway pro Anfrage, was für unabhängige Abfragen richtig und für eine paginierte Tabelle falsch ist. Der Kompromiss ist dargelegt in Sticky vs. rotierende residential Proxies.

Fügen Sie strict-true hinzu, wenn eine exakte regionale Übereinstimmung wichtiger ist als eine Antwort zu erhalten, damit das Gateway einen 502-Fehler zurückgibt statt Ihnen stillschweigend eine nahegelegene Region zu liefern.

Die Frequenz sollte sich danach richten, wie schnell sich jede Reihe tatsächlich bewegt. Kreditgeberzinsen rechtfertigen eine tägliche und manchmal untertägige Erfassung. Inserate und Angebotsmieten werden täglich erfasst. Öffentliche Register aktualisieren sich nach eigenem Zeitplan, oft wöchentlich oder monatlich, und sie schneller zu erfassen, als sie veröffentlicht werden, erzeugt nur doppelte Zeilen. Halten Sie die Anfrageraten normal mit echtem Backoff, wie in Rate Limiting und Request Throttling beschrieben.

Das Schema, das Sie ehrlich hält

Jeder Datensatz sollte neben der Zahl selbst enthalten: den Beobachtungstyp aus der obigen Tabelle, die Quelle, das von der Quelle angegebene Gültigkeitsdatum, das Datum Ihrer Beobachtung, den Markt und den Standort, von dem aus Sie beobachtet haben, sowie ein Konfidenz- oder Validierungsflag.

Gültigkeitsdatum und Beobachtungsdatum sind unterschiedliche Felder, und sie zu vermischen ist ein echter Fehler. Ein Kreditgeber-Zinsblatt, das letzten Dienstag gültig wurde und heute erfasst wird, ist ein Dienstag-Zinssatz. Ein Index, der auf Beobachtungsdaten aufbaut, wird eine Bewegung zeigen, die nicht stattfand, als Ihr Crawler zu spät war.

Das allgemeine Argument für die Aufzeichnung von wo und wann eine Beobachtung gemacht wurde, findet sich in Das Plädoyer für einen Standort-Standard.

Datenschutz und Compliance

Immobiliendaten liegen näher an Einzelpersonen als die meisten kommerziellen Webdaten, und die Regeln unterscheiden sich stark je nach Rechtsraum.

Öffentliche Register nennen in manchen Ländern Eigentümer; in anderen ist diese Information eingeschränkt. Behandeln Sie Eigentümernamen, Kontaktdaten und alles, was einen Bewohner identifiziert, standardmäßig als personenbezogene Daten, erfassen Sie diese nur, wenn Sie eine Rechtsgrundlage haben, und entfernen Sie sie bei der Aufnahme, wo Ihr Produkt sie nicht benötigt. Ein Mietindex braucht nicht den Namen eines Mieters.

Respektieren Sie die Nutzungsbedingungen jeder Quelle, halten Sie Volumina angemessen, und wo eine Lizenz der vorgesehene Weg ist, nehmen Sie die Lizenz. Die allgemeine Einordnung findet sich in Residential Proxies und DSGVO-Konformität und Ethische residential Proxies für KI-Datenerfassung.

FAQ

Kann ich Portalschätzungen als Bewertungen in meinem Produkt verwenden?

Nicht als Bewertungen. Als Merkmal oder als klar zugeschriebene Drittanbieter-Schätzung, ja, vorbehaltlich der Nutzungsbedingungen des Portals. Die Kennzeichnung ist der entscheidende Punkt.

Wie komme ich an erzielte statt an Angebotsmieten?

In der Regel über lizenzierte Datensätze oder Betreiberpartnerschaften. Inserate enthalten sie nicht, und sie aus Angebotsmieten abzuleiten, ist Modellierung, die als solche offengelegt werden sollte.

Ist das Scrapen öffentlicher Register notwendig, wenn Massendateien existieren?

Nein, und Massendateien sind besser: maßgeblich, vollständig und erlaubt. Nutzen Sie das Web nur für das, was nicht in Massendateien veröffentlicht wird.

Warum weichen unsere Hypothekenzinsen vom veröffentlichten nationalen Durchschnitt ab?

Meist, weil Sie eine Region, eine LTV-Bandbreite oder eine Kreditnehmerstufe erfasst und über einen nicht repräsentativen Mix gemittelt haben. Erfassen Sie die Achsen, und die Abweichung erklärt sich meist von selbst.

Fazit

Bewertungen, Mieten und Hypothekenzinsen sind drei Erfassungsprobleme, die sich ein Vokabular teilen und sonst nichts. Die Teams, die zuverlässige PropTech-Daten aufbauen, wenden sich zuerst an offizielle und lizenzierte Quellen, nutzen das öffentliche Web für den Rest und halten beobachtet, bewertet, verlangt und geschätzt als getrennte, gekennzeichnete Felder mit sowohl einem Gültigkeitsdatum als auch einem Beobachtungsdatum.

Erfassen Sie jeden Markt von diesem Markt aus, halten Sie Sitzungen über eine Tabelle oder einen Ergebnissatz hinweg kohärent, und lassen Sie niemals ein Modellergebnis als Tatsache speichern. Wie man diese Beobachtungen in eine Echtzeit-Marktreihe verwandelt, wird behandelt in Aufbau eines Echtzeit-Datenfeeds für den Wohnungsmarkt. Die Produktansicht finden Sie auf der Seite Residential Proxies für Datenerfassung, mit den Preisen auf der Preisseite.