Immobilienteams wollen keine Scraping-Infrastruktur betreiben. Sie wollen wissen, wo das Angebot steigt, wo Preise gesenkt werden, was vergleichbare Immobilien verlangen und wie lange Bestände liegen bleiben. Die Erhebungsebene ist ein Mittel dazu, und für viele Teams ist eine Web Scraping API der direkteste Weg, dies zu erreichen, ohne für Browser-Automatisierung und Proxy-Betrieb einzustellen.
Was gesammelt werden soll und wie es nach der Erhebung modelliert wird, wird an anderer Stelle in diesem Blog behandelt: Bewertungen, Mieten und Hypothekendaten, ein Echtzeit-Feed für den Wohnungsmarkt und die Aggregation von Anzeigen über mehrere Portale hinweg. Dieser Beitrag befasst sich mit der Erhebungsebene selbst: warum Immobilienportale Teams zu einer API drängen, wie die API auf Immobilienseiten abgebildet wird, und wie die Wirtschaftlichkeit funktioniert.
Warum Immobilienportale schwierig zu erfassen sind
Vier Eigenschaften von Immobilienseiten machen sie schwieriger als die meisten anderen.
Sie sind für Karten und Scrollen gebaut, nicht für Seiten. Suchergebnisse laden über JavaScript, wenn sich eine Karte bewegt oder eine Liste gescrollt wird, sodass eine einfache HTTP-Anfrage oft eine leere Hülle zurückgibt.
Ergebnisse sind paginiert und cursorgesteuert. Der Wechsel von Seite eins zu Seite zwei hängt häufig von serverseitigem Zustand ab, was naives seitenweises Abrufen zunichtemacht.
Sie sind lokalisiert. Portale bedienen nach Land und manchmal nach Region, sodass das, was man sieht, davon abhängt, woher die Anfrage scheinbar kommt.
Sie sind geschützt. Hochwertiges, häufig aktualisiertes Inventar zieht automatisierten Traffic an, und Portale schützen es entsprechend.
Alle vier Punkte selbst zu handhaben bedeutet Headless-Browser, Proxy-Management, Retry-Logik und Fingerprint-Abstimmung. Eine Web Scraping API bündelt das alles in einer Anfrage.
Wie die API auf Immobilienseiten abgebildet wird
Mit der Shifter Web Scraping API hat jedes Portalproblem eine direkte Steuerungsmöglichkeit.
Karten- und Listenansichten. render_js=1 führt die Seite in einem Headless Chrome ohne zusätzliche Credit-Kosten aus, und wait_for_css hält die Erfassung an, bis die Listing-Karten tatsächlich gerendert wurden. JavaScript-Anweisungen können vor der Erfassung scrollen oder auf ein “Mehr laden”-Element klicken. Siehe JavaScript rendern.
Ergebniskarten. extract_rules mit einem Listentyp gibt jede Listing-Karte auf einer Seite als JSON zurück, ein Objekt pro Listing, ohne dass auf Ihrer Seite ein HTML-Parser nötig ist.
Paginierung. session_id hält Cookies, Browser-Zustand und die vorgelagerte IP über Anfragen hinweg fest, sodass ein cursorgesteuertes Ergebnis-Set der Reihe nach durchlaufen werden kann. Sitzungen laufen nach 10 Minuten Inaktivität ab, und das Land sollte während der Lebensdauer einer Sitzung gleich bleiben. Siehe Sitzungen und Proxys.
Lokalisierung. country nimmt einen ISO-Alpha-2-Code pro Anfrage entgegen. Globale Geolokalisierung und der residentielle Pool über premium_proxy=1 sind ab dem Growth-Plan verfügbar.
Nachweise. screenshot=1 erfasst die gerenderte Seite, nützlich, wenn der Zustand eines Listings zu einem bestimmten Zeitpunkt wichtig ist, etwa bei einer Preissenkung oder einem Rückzug.
Lange Renderzeiten. webhook=<URL> liefert die Antwort an Ihren Endpunkt, sobald sie fertig ist, statt eine Verbindung offen zu halten.
Eine Anfrage für Suchergebnisse in einem Markt sieht so aus:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY\
&url=https%3A%2F%2Fportal.example.com%2Fsearch%3Fcity%3Dlyon\
&render_js=1&wait_for_css=.listing-card\
&country=fr&premium_proxy=1&session_id=lyon-walk-03\
&extract_rules=%7B%22listings%22%3A%7B%22selector%22%3A%22.listing-card%22%2C%22type%22%3A%22list%22%2C%22item%22%3A%7B%22price%22%3A%7B%22selector%22%3A%22.price%22%2C%22output%22%3A%22text%22%7D%2C%22area%22%3A%7B%22selector%22%3A%22.area%22%2C%22output%22%3A%22text%22%7D%2C%22link%22%3A%7B%22selector%22%3A%22a%22%2C%22output%22%3A%22%40href%22%7D%7D%7D%7D"Die Ziel-URL ist URL-kodiert, da sie ihren eigenen Query-String trägt, der andernfalls als Parameter der API-Anfrage gelesen würde. Die Antwort ist ein JSON-Objekt mit einem listings-Array. Ein Feld, dessen Selektor nichts findet, kommt als null zurück, was für das Monitoring relevant ist, wie weiter unten beschrieben.
Wie unterschiedliche Teams sie nutzen
Akquisitions- und Investmentteams beobachten Zielsubmärkte auf neues Angebot und Preissenkungen und nutzen den Zeitpunkt von Senkungen als Verhandlungssignal. Was sie brauchen, ist Ereigniserkennung am nächsten Tag für eine definierte Menge von Gebieten, nicht ein landesweiter Crawl.
Maklerfirmen verfolgen ihren Anteil an Listings gegenüber Wettbewerbern nach Gebiet, und wie schnell konkurrierende Listings sich bewegen. Belassen Sie dies auf Maklerebene: Kontaktdaten von Agenten in Listings sind personenbezogene Daten und werden für die Analyse selten benötigt.
PropTech-Produkte bauen Vergleichswerte und Listing-Feeds für ihre eigenen Nutzer. Hier ist die API ein Input für eine Normalisierungspipeline, und Felddefinitionen unterscheiden sich je nach Portal und Land.
Vermietungsbetreiber überwachen angebotene Mieten und Zugeständnisse in ihren Submärkten. Zugeständnisse stehen oft im Beschreibungstext statt in einem Preisfeld, daher sollten Extraktionsregeln die Beschreibung erfassen, nicht nur die Hauptmiete.
Kreditgeber und Versicherer verfolgen die Marktbedingungen in den Gebieten, in denen sie exponiert sind. Die Grenze bilden veröffentlichte Marktdaten, niemals Informationen zu einzelnen Kreditnehmern oder Bewohnern.
Die Wirtschaftlichkeit: Gestaltung rund um den Credit
Ein Credit kauft eine erfolgreiche Anfrage, was auch immer diese Anfrage zurückgibt. Rendering, Extraktionsregeln, Screenshots und die eigenen Retries der API sind inbegriffen, und fehlgeschlagene Anfragen oder Zielfehler werden nicht berechnet.
Das hat eine direkte gestalterische Konsequenz für Immobilien. Eine Suchergebnisseite, die vierzig Listing-Karten zurückgibt, kostet denselben einzelnen Credit wie eine Detailseite, die ein Listing zurückgibt. Das effiziente Muster ist also, von Ergebnisseiten zu sammeln, wo immer die Karte die benötigten Felder trägt, Preis, Fläche, Zimmer, Link, und eine Detailseite nur abzurufen, wenn ein Listing neu ist oder sich seine Karte geändert hat.
Bei einem Markt mit einigen tausend aktiven Listings ist dieser Unterschied oft eine Größenordnung bei den Credits. Es verbessert auch die Aktualität, da Ergebnisseiten für dieselben Ausgaben häufiger erneut besucht werden können.
Zwei weitere Kostenhebel. Aktualisieren Sie in einem Rhythmus, der dazu passt, wie schnell sich jeder Markt bewegt, da täglich für die meisten Listing-Oberflächen ausreicht. Und behalten Sie im Blick, welche Credits für Zeilen ausgegeben werden, die sauber geparst wurden, denn ein defekter Selektor verbraucht dennoch einen Credit für jede erfolgreiche, aber nutzlose Antwort.
Auf stille Fehler überwachen
Portale werden neu gestaltet, und ein geänderter Selektor lässt die Anfrage nicht fehlschlagen. Er gibt null zurück, die Anfrage ist erfolgreich, und der Credit wird verbraucht.
Verfolgen Sie die Null-Rate pro Feld, pro Portal und pro Land über ein rollierendes Fenster und alarmieren Sie, wenn sie von ihrer Baseline abweicht. Versionieren Sie Ihre Extraktionsregeln, damit ein Fix nachverfolgt werden kann, und legen Sie Rohantworten ab, bevor sie geparst werden, damit eine korrigierte Regel erneut angewendet werden kann, ohne für einen erneuten Abruf zu bezahlen. Das Ladeschema ist in Web-Scraping-API-Daten nach SQL verschieben beschrieben.
Wann eine API die richtige Erhebungsebene ist, und wann nicht
Wählen Sie die API, wenn Rendering und Anti-Bot-Handling die Hauptlast darstellen, wenn das Team klein oder datenfokussiert statt infrastrukturfokussiert ist, und wenn planbare Abrechnung pro Erfolg wichtiger ist als der niedrigstmögliche Stückpreis.
Wählen Sie selbstverwaltete Proxys, wenn Sie vollständig maßgeschichten. Der proxybasierte Ansatz wird in Proxys für Immobiliendaten behandelt.
Wählen Sie zuerst einen lizenzierten Feed, wo immer einer für Ihren Markt existiert. Abdeckung und Feldqualität sind in der Regel besser, und die Bedingungen sind klar. Nutzen Sie die Erhebung für das, was eine Lizenz nicht bietet.
Auf der richtigen Seite bleiben
Respektieren Sie die Nutzungsbedingungen jedes Portals und halten Sie die Anfragevolumen angemessen. Behandeln Sie Eigentümer-, Makler- und Bewohnerdaten standardmäßig als personenbezogene Daten und entfernen Sie sie bei der Aufnahme, wo die Analyse sie nicht benötigt. Nutzen Sie Screenshots als Nachweis dessen, was ein Listing zeigte, nicht als Material zur erneuten Veröffentlichung. Der breitere Rahmen findet sich in Residential Proxys und DSGVO-Konformität.
FAQ
Brauche ich JavaScript-Rendering für Immobilienportale?
Bei den meisten modernen Portalen ja, da Listing-Ergebnisse nach der ursprünglichen Seite laden. Es kostet denselben Credit wie ein statischer Abruf, daher gibt es wenig Grund, es nicht zu aktivieren, wo Ergebnisse clientseitig gerendert werden.
Kann eine API Portale in mehreren Ländern abdecken?
Ja, mit country pro Anfrage gesetzt und einer Sitzung pro Markt. Globale Geolokalisierung erfordert einen Growth-Plan oder höher.
Wie durchlaufe ich paginierte Suchergebnisse zuverlässig?
Nutzen Sie eine session_id pro Suche, halten Sie das Land innerhalb dieser konstant, und halten Sie den Durchlauf in Bewegung, da Sitzungen nach 10 Minuten Inaktivität ablaufen.
Ist es günstiger, Detailseiten oder Ergebnisseiten zu scrapen?
Ergebnisseiten, wo immer die Listing-Karte die benötigten Felder trägt. Ein Credit liefert viele Listings, und Detailseiten können für neue oder geänderte Listings reserviert werden.
Fazit
Für die meisten Immobilienteams ist der schwierige Teil der Marktinformation nicht, zu entscheiden, was gemessen werden soll. Es geht darum, zuverlässige Daten aus Portalen zu bekommen, die für Karten, Scrollen und menschliche Besucher gebaut sind. Eine Web Scraping API verwandelt Rendering, Paginierung, Lokalisierung und Retries in Anfrageparameter und berechnet nur, wenn Daten ankommen.
Gestalten Sie rund um den Credit, indem Sie zuerst von Ergebnisseiten sammeln, Suchen mit Sitzungen pro Markt durchlaufen, Null-Raten auf stille Fehler überwachen, und wo immer möglich einen lizenzierten Feed nutzen. Das Produkt ist auf der Seite Web Scraping API zu finden, mit Plänen auf der Preisseite, und dem umfassenderen Anwendungsfall auf der Seite Immobilien.