Die Teams, die Bots abwehren, und die Teams, die sie entwickeln, befinden sich seit etwa fünfzehn Jahren in einem Wettrüsten in Zeitlupe. Die Front verschob sich alle paar Jahre, und jede Verschiebung erzwang eine andere Art von Investition seitens der Data-Teams. Es lohnt sich, den groben Zeitverlauf zu kennen, denn der aktuelle Stand ist von außen nicht offensichtlich - und viele Ratschläge im Internet sind zwei Anti-Bot-Generationen veraltet.
Generation 1: IP-Blocklisten und Rate-Limits
Frühe Abwehrmaßnahmen waren prozeduraler Natur. Eine Anfrage kam herein, der Server notierte die IP, und wenn diese IP irgendetwas offensichtlich Maschinenhaftes tat - zu viele Anfragen pro Minute, eine zu vorhersehbare Abfolge, ein zu kleiner User-Agent - wurde sie gedrosselt oder direkt gesperrt. Listen bekannter Datacenter-IP-Bereiche kursierten im Netz. Alles, was von AWS oder DigitalOcean stammte, wurde mit Misstrauen behandelt.
Dies war die Ära, in der die Antwort auf “Wie scrape ich X?” fast immer lautete: “Benutze einen Proxy.” Konkret: einen Datacenter-Proxy. Ein /24 kaufen, durchrotieren, Problem gelöst.
Es funktionierte, weil den Verteidigern kaum etwas anderes zur Verfügung stand.
Generation 2: CAPTCHAs und die Reibungssteuer für Nutzer
Als IP-basierte Abwehrmaßnahmen zu versagen begannen, verlagerten die Verteidiger die Reibung auf den Nutzer. CAPTCHAs wurden allgegenwärtig - zunächst die Bildabgleich-Varianten, dann reCAPTCHA, dann unsichtbares reCAPTCHA, dann hCaptcha, Turnstile und Arkose.
CAPTCHAs funktionieren insofern, als sie naive Scraper blockieren. Sie funktionieren auch insofern, als sie echte Nutzer so stark nerven, dass die Conversion messbar sinkt. Die meisten Websites, die zwischen 2017 und 2020 aggressive CAPTCHA-Schichten einsetzten, haben sich seitdem zurückgezogen, weil die Reibungskosten die Bot-Kosten überwogen.
Auf der Scraper-Seite brachten CAPTCHAs eine ganze Industrie von Human-in-the-Loop-Solver-Diensten hervor. Einige Cent pro Lösung zahlen, die CAPTCHAs an ein Panel von Mitarbeitern in Niedriglohnländern schicken, den Token zurückbekommen, weiterscrapen. Nicht elegant, aber es funktionierte.
Generation 3: Browser- und Verhaltens-Fingerprinting
Die dritte Generation rückte im Stack nach oben. Websites begannen, den Client selbst zu fingerprinten - nicht nur die IP, sondern den Browser. Canvas-Fingerprinting, WebGL-Signaturen, Schriftartenlisten, Audio-Kontext, Zeitzone, Spracheinstellungen, Bildschirmabmessungen, verfügbare Plugins, die Reihenfolge, in der TLS-Cipher beim Handshake vorgeschlagen wurden (JA3/JA4-Fingerprints), das Timing von Mausbewegungen, der Rhythmus von Tastenanschlägen.
Headless Chromium ohne spezifische Härtung verrät Dutzende dieser Signale. Verteidiger entwickelten Bibliotheken (Fingerprint.js und diverse kommerzielle Äquivalente), die Anfragen über diese Oberfläche hinweg bewerteten und alles ablehnten, das zu sauber, zu mechanisch oder zu wenig wie der Browser eines echten Nutzers wirkte.
Hier wurde Scraping wirklich schwierig. Eine Residential-IP allein reichte nicht mehr aus. Man musste einen echten Browser betreiben - oder einen ausreichend guten Headless-Browser mit gepatchten Fingerprints - und dessen Verhalten musste natürlich wirken. Der Proxy war nach wie vor unverzichtbar, aber er war zu einer Komponente in einem Stack geworden, nicht mehr die vollständige Lösung.
Generation 4: Netzwerkbasierte Reputation
Die aktuelle Front ist für alle Beteiligten die kostspieligste. Verteidiger kaufen heute Reputationsdaten von Netzwerkanbietern wie Cloudflare, Akamai und einem Dutzend kleinerer Spezialisten. Jede IP erhält einen Reputationswert, der Signale von Millionen von Websites aggregiert: Wurde diese IP beim Einloggen in Bankkonten gesehen, beim Durchlaufen von Checkout-Flows, beim Öffnen von normalem Gmail? Oder wurde sie dabei beobachtet, wie sie Login-Endpunkte in Mustern trifft, die auf Credential-Stuffing hindeuten, Kommentare in maschinellen Rhythmen postet oder Wettbewerber-Preisseiten um 3 Uhr morgens an einem Dienstag scrapt?
Eine Datacenter-IP hat per Definition eine dünne oder negative Netzwerkhistorie. Sie hat keine normalen menschlichen Dinge getan. Eine Residential-IP hingegen hat Jahre unauffälligen Traffics hinter sich - der Haushalt, dem sie dient, nutzt sie für Netflix, Steam, Zoom und normales Surfen. Diese Reputation ist es, was Scraper heute schützt.
ISP-Proxies nehmen eine interessante Mittelstellung ein: Sie werden von echten Residential-ISPs vergeben (sodass der Upstream-Anbieter einem Haushalt-IP-Block entspricht), sind aber Rechenzentren zugewiesen und werden statisch gehalten. Sie sind schwerer zu erkennen als reine Datacenter-IPs, aber leichter als rotierende Residential-IPs - und entsprechend bepreist.
Was das für Data-Teams im Jahr 2026 bedeutet
Einige Dinge haben sich durch alle vier Generationen als beständig erwiesen und werden es bleiben:
Der richtige Proxy ist notwendig, aber nicht hinreichend. Eine echte Residential-IP bringt einen durch das netzwerkbasierte Tor. Danach müssen Client, Header, TLS-Fingerprint und Verhaltensmuster noch plausibel sein.
Die Blockierungsrate ist die einzige Kennzahl, die zählt. Nicht die Poolgröße, nicht die Länderanzahl, nicht beworbene Features. Wenn die Scrapes sauberes HTML zu akzeptablen Kosten liefern, funktioniert die Infrastruktur. Wenn nicht, helfen keine Marketing-Versprechen.
Der richtige Proxy hängt vom Workflow ab. Per-Request-Rotation über einen großen Residential-Pool ist richtig für Fan-out-Preisüberwachungsjobs. Sticky Sessions auf einer einzelnen Residential-IP für zehn Minuten sind richtig für mehrseitige Flows. Feste ISP-IPs sind richtig für Account-Management und jeden Workflow, der über Wochen oder Monate dieselbe Identität benötigt. Kein einziges Werkzeug für alle Aufgaben verwenden.
Anti-Bot wird weiter im Stack nach oben wandern. Die nächste Schicht ist wahrscheinlich aggressivere Verhaltensanalyse am Edge - maschinell lernende Klassifikatoren, die mehrminütige Session-Muster betrachten, nicht einzelne Anfrage-Features. Das ist bei den größten Websites bereits im Einsatz. Das Wettrüsten der Verteidiger eskaliert, und damit auch die Kosten, darin zu bleiben.
Das ehrliche Fazit: Wer behauptet, Scraping sei “gelöst”, liegt falsch. Es ist ein Betriebsproblem, und der Betrieb ist das, wofür man bezahlt. Residential-Proxies bleiben das Fundament, weil sie nach wie vor der einzige Ort sind, an dem die Upstream-IP die richtige Art von Geschichte mitbringt. Alles andere baut darauf auf.