Scraping

Das Digital Services Act verwandelt Web-Beobachtung in regulatorische Infrastruktur

Der Datenzugang im Rahmen des Digital Services Act verändert die Plattformforschung. Erfahren Sie, warum kontrollierte Web-Beobachtung und geografische Beobachtungspunkte für die Rechenschaftspflicht wichtig sind.

Matt Brown

Matt Brown

8. September 2026 · 11 Min. Lesezeit

Seit Jahren ist eines der grundlegenden Probleme der Plattformforschung die Asymmetrie. Digitale Plattformen können enorme Mengen an Aktivität über ihre Dienste hinweg beobachten, während Forscher außerhalb dieser Plattformen oft mit den Daten arbeiten müssen, die die Plattform zu offenbaren wählt.

Das Digital Services Act der Europäischen Union beginnt, dieses Verhältnis zu verändern.

Der Datenzugangsrahmen des Digital Services Act entwickelt sich von regulatorischer Sprache hin zu operativer Forschungsinfrastruktur. Am 19. Mai 2026 hatten die Digital Services Coordinators bereits 49 Anträge auf den Status als geprüfter Forscher erhalten. Laut der Europäischen Kommission betrafen diese Anträge vorwiegend soziale Medienplattformen und umfassten Forschung zu illegalen Inhalten, Werbetransparenz und KI-Funktionen.

Das ist bedeutsam. Aber der Zugang zu von Plattformen gehaltenen Datensätzen ist nur ein Teil des Forschungsproblems. Wenn Forscher verstehen wollen, wie digitale Plattformen Menschen in Europa beeinflussen, benötigen sie auch Wege, diese Plattformen von der Nutzerseite der Schnittstelle aus zu beobachten. Offizielle Datensätze können einige Fragen beantworten. Unabhängige Beobachtung kann andere beantworten.

Wichtigste Erkenntnisse

  • Der DSA verwandelt den Forscherzugang von einem rechtlichen Prinzip in ein operatives Forschungsregime.
  • Von Plattformen bereitgestellte Datensätze und unabhängige Outside-in-Beobachtung beantworten unterschiedliche, sich ergänzende Fragen.
  • Die Korrekturmaßnahmen von X im Juli 2026 bestätigen, dass berechtigte Forscher automatisierten Zugang zu öffentlich verfügbaren Plattformdaten benötigen könnten.
  • Geografie, Gerät, Sitzungsstatus und Zeit sollten als Forschungsvariablen behandelt werden, wenn untersucht wird, was Nutzer tatsächlich erleben.
  • Die nächste Stufe der Plattformverantwortlichkeit wird zunehmend von reproduzierbaren Beobachtungen mit klarer Herkunftsnachweisung abhängen.

Was der Datenzugang unter dem Digital Services Act tatsächlich verändert

Der DSA etabliert mehrere wichtige Wege, über die unabhängige Forscher sehr große Online-Plattformen und sehr große Online-Suchmaschinen untersuchen können.

Einer betrifft interne Plattformdaten. Gemäß Artikel 40 können geprüfte Forscher Zugang zu Daten beantragen, die benötigt werden, um systemische Risiken in der Europäischen Union zu untersuchen und die Wirksamkeit der Risikominderungsmaßnahmen der Plattformen zu bewerten.

Der Prozess ist wesentlich konkreter geworden. Im Juli 2025 verabschiedete die Europäische Kommission einen delegierten Rechtsakt, der technische Bedingungen und Verfahren für den Forscherzugang festlegt. Sie schuf zudem ein DSA-Datenzugangsportal, über das Forscher, Plattformen, Digital Services Coordinators und andere zuständige Behörden Teile des Prozesses verwalten können.

Forscher, die internen Datenzugang suchen, müssen wichtige Schutzvorkehrungen erfüllen. Dazu gehören die Zugehörigkeit zu einer Forschungsorganisation, Unabhängigkeit von kommerziellen Interessen, angemessene Datensicherheits- und Vertraulichkeitsmaßnahmen, Schutz personenbezogener Daten, Offenlegung der Forschungsfinanzierung sowie die Verpflichtung, ihre Ergebnisse zu veröffentlichen.

Aber der DSA erkennt auch eine weitere Kategorie von Nachweisen an: öffentlich verfügbare Plattformdaten. Die Kommission erklärt, dass Forscher, die die relevanten Bedingungen erfüllen, auf öffentlich verfügbare Daten von sehr großen Online-Plattformen und Suchmaschinen für die Untersuchung systemischer Risiken zugreifen können, ohne dass ein Digital Services Coordinator vermitteln muss.

Diese Unterscheidung ist wichtig. Ein interner Datensatz kann Forschern mitteilen, was eine Plattform aufgezeichnet hat. Eine API kann ihnen mitteilen, was eine Plattform über diese Schnittstelle verfügbar gemacht hat. Ein Transparenz-Repository kann mitteilen, was die Plattform offengelegt hat. Keines davon sagt einem Forscher zwangsläufig genau, was ein europäischer Nutzer auf einem bestimmten Bildschirm, in einem bestimmten Land, zu einem bestimmten Zeitpunkt erlebt hat. Das erfordert Beobachtung.

Die X-Entscheidung ist bedeutender, als sie zunächst erscheint

Die Durchsetzungsmaßnahme der Europäischen Kommission gegen X macht diese Unterscheidung ungewöhnlich sichtbar. Im Dezember 2025 belegte die Kommission X mit einer Geldbuße von 120 Millionen Euro für mehrere Verstöße gegen die DSA-Transparenzvorschriften. Darunter war ein Versäumnis, Forschern angemessenen Zugang zu öffentlichen Daten zu gewähren. Die Kommission erklärte konkret, dass die Nutzungsbedingungen von X berechtigte Forscher daran hinderten, unabhängig auf öffentliche Daten zuzugreifen, einschließlich durch Scraping, und dass die Verfahren unnötige Barrieren für die Erforschung systemischer Risiken in der EU schufen.

Die nächste Entwicklung ist aus forschungsmethodologischer Sicht noch interessanter. Im Juli 2026 nahm die Kommission einen Aktionsplan an, unter dem sich X verpflichtete, die Prüfung von Forschern zu verbessern und zu beschleunigen, berechtigten Forschern kostenlosen Zugang zu gewähren, angemessene Datenmengen bereitzustellen und die Nutzungsbedingungen so zu ändern, dass berechtigte Forscher vertraglich nicht mehr daran gehindert werden, öffentlich verfügbare Daten zu scrapen.

Dies sollte nicht als pauschale rechtliche Genehmigung für uneingeschränktes Scraping interpretiert werden. Forscher müssen weiterhin innerhalb der geltenden DSA-Bedingungen sowie weiterer rechtlicher, ethischer, datenschutzrechtlicher und sicherheitsbezogener Anforderungen agieren.

Aber es etabliert ein wichtiges Prinzip. Unabhängiges Sammeln öffentlicher Informationen ist nicht notwendigerweise eine Aktivität, die außerhalb der Plattformverantwortlichkeit steht. Unter den richtigen Bedingungen kann es Teil der Verantwortlichkeitsinfrastruktur selbst sein. Die Kommission hat an anderer Stelle eine ähnliche Position eingenommen. In ihren DSA-Verpflichtungen mit AliExpress stimmte die Plattform zu, Forschern, die die Kriterien nach Artikel 40(12) erfüllen, zu ermöglichen, unabhängig auf öffentliche Daten zuzugreifen und diese zu nutzen, um systemische Risiken durch automatisierte Methoden wie Data Scraping zu untersuchen.

Das regulatorische Gespräch bewegt sich daher über die einfache Frage hinaus, ob Forscher einen API-Schlüssel erhalten. Es bewegt sich hin zu der Frage, ob Forscher unabhängig untersuchen können, was Plattformen tatsächlich tun.

APIs zeigen, was die Plattform offenlegt, Beobachtung zeigt, was der Nutzer erlebt

Offizieller Zugang bleibt wesentlich. Ein von einer Plattform gehaltener Datensatz kann Moderationshistorien, interne Klassifizierungen, aggregierte Kennzahlen, Systemaufzeichnungen oder historische Informationen enthalten, die von außen unmöglich zu rekonstruieren wären. Forschungs-APIs können großangelegte Analysen erleichtern. Werbe-Repositories können strukturierte Nachweise zu Kampagnen liefern. Transparenzdatenbanken können wichtige Informationen zu Moderationsentscheidungen und Durchsetzungsaktivitäten offenlegen. Dies sind Formen von Inside-out-Nachweisen.

Aber Verantwortlichkeit erfordert auch Outside-in-Nachweise.

Betrachten Sie die Art von Forschungsfragen, die zunehmend wichtig werden. Was sieht ein Nutzer in Madrid, wenn er eine bestimmte Anfrage stellt? Ist eine Werbeanzeige in Italien sichtbar, aber nicht in den Niederlanden? Werden politische oder kommerzielle Offenlegungen zwischen Märkten konsistent präsentiert? Liefert eine Empfehlungsschnittstelle unterschiedliche Ergebnisse aus verschiedenen europäischen Ländern? Legt die mobile Erfahrung Informationen offen, die die Desktop-Erfahrung nicht offenlegt? Werden Plattformänderungen gleichzeitig in der gesamten EU ausgerollt? Kann ein beobachtetes Verhalten einen Tag, eine Woche oder einen Monat später reproduziert werden?

Dies sind nicht notwendigerweise Fragen darüber, was innerhalb einer Datenbank existiert. Es sind Fragen darüber, wie sich ein System verhält, wenn jemand mit ihm interagiert.

Die stärksten Forschungsdesigns werden zunehmend beide Perspektiven kombinieren. Von der Plattform gemeldete Daten sagen Forschern, was das System aufzeichnet. Unabhängige Beobachtung hilft festzustellen, was das System präsentiert. Keines ist von Natur aus überlegen. Sie messen unterschiedliche Dinge. Und wenn die beiden nicht übereinstimmen, kann diese Diskrepanz selbst zu einem wichtigen Forschungsergebnis werden.

Geografie ist eine Forschungsvariable, nicht nur eine Proxy-Einstellung

Hier wird Internet-Infrastruktur zum Bestandteil der Forschungsmethodologie. Web-Plattformen sind nicht notwendigerweise einheitliche Umgebungen. Geografie kann Verfügbarkeit, Werbung, Sprache, Schnittstellen, Suchergebnisse, regulatorische Offenlegungen, Produktfunktionen und andere Elemente einer Online-Erfahrung beeinflussen.

Wenn ein Forscher also sagt “das hat die Plattform angezeigt”, stellt sich eine offensichtliche Anschlussfrage: angezeigt gegenüber wem, und von wo aus?

Bei Shifter sind wir der Meinung, dass Standort zunehmend als experimentelle Variable behandelt werden sollte. Unser residentielles Proxy-Netzwerk bietet Zugang zu residentiellen IPs in mehr als 195 Ländern, mit geografischem Targeting, das genutzt werden kann, um kontrollierte Internet-Beobachtungspunkte zu etablieren. Diese Infrastruktur kann einen Forscher unterstützen, der dieselbe öffentlich zugängliche Schnittstelle von mehreren definierten geografischen Standorten aus beobachten muss, statt anzunehmen, dass eine einzige Verbindung die Erfahrung jedes europäischen Nutzers repräsentiert.

Das bedeutet nicht, dass eine residentielle IP automatisch jedes Element der Erfahrung eines menschlichen Nutzers reproduziert. Plattformen berücksichtigen möglicherweise viele Signale jenseits der IP-Geografie, einschließlich Cookies, Kontohistorie, Spracheinstellungen, Geräteeigenschaften und Sitzungsstatus. Genau deshalb ist die Methodologie wichtig. Geografie sollte zusammen mit diesen anderen Variablen erfasst werden, nicht als unsichtbare Eigenschaft der Forschungsinfrastruktur behandelt werden.

Beobachtung auf regulatorischem Niveau braucht eine Methode, nicht nur Zugang

Sobald Outside-in-Web-Beobachtung zur regulatorischen Forschung beiträgt, muss der Beweisstandard mit ihr steigen. “Wir haben die Seite geöffnet und dies gesehen” ist keine Methodologie.

Eine rigorose Beobachtung sollte von genügend kontextuellen Informationen begleitet sein, damit ein anderer Forscher sie verstehen, infrage stellen und idealerweise reproduzieren kann. Diese Aufzeichnung könnte Folgendes umfassen: den Zeitstempel der Beobachtung; Ziel-URL oder Plattformoberfläche; Ausgangsland und -stadt; ASN oder ISP, sofern relevant; Geräte- und Browserprofil; Spracheinstellungen; Authentifizierungsstatus; Konto- oder Sitzungsstatus; experimentelle Bedingung; beobachtetes Ergebnis; Screenshot, HTML oder strukturierte Nachweise, sofern angemessen; Ergebnisse wiederholter Tests; und Validierungsstatus.

Im Grunde benötigen Forscher eine Herkunftskette für Web-Beobachtung. Wir haben festgelegt, was diese Aufzeichnung enthalten sollte, in dem Plädoyer für einen Standard für Beobachtungspunkte.

Dasselbe Prinzip prägt bereits, wie wir an Infrastruktur-Benchmarking herangehen. Wir vergleichen nicht zwei Netzwerke mit unterschiedlichen Anfragevolumen, Maschinen oder Testbedingungen und behandeln das Ergebnis dann als aussagekräftig. Tests verwenden abgeglichene Anfragezahlen, konsistente Nebenläufigkeit und Ziele sowie kontrollierte Umgebungen. Wir unterscheiden auch zwischen IPs, die während des Testfensters tatsächlich beobachtet wurden, und den viel größeren beworbenen Netzwerkgesamtzahlen, die nicht in einem Moment gemessen werden können.

Die Erforschung des Plattformverhaltens erfordert dieselbe Disziplin. Wird der Standort geändert, halten Sie die anderen Variablen stabil. Wird der Gerätetyp geändert, kontrollieren Sie die Geografie. Wenn ein überraschendes Ergebnis einmal auftritt, wiederholen Sie es. Wenn ein Unterschied über mehrere Beobachtungen hinweg bestehen bleibt, erfassen Sie die Bedingungen, unter denen er bestehen bleibt.

DSA-Verantwortlichkeit wird zu einem Messproblem. Interne Daten können offenbaren, was Plattformen aufzeichnen; Outside-in-Beobachtung kann testen, was Nutzer tatsächlich erleben. Die stärksten Nachweise werden zunehmend aus der Triangulation beider unter kontrollierten, reproduzierbaren Bedingungen stammen.

Von Scraping-Infrastruktur zu Beobachtungsinfrastruktur

Proxy-Technologie wurde historisch in eher operativen Begriffen diskutiert. Wie viele Anfragen können Sie stellen? Wie schnell können Sie IP-Adressen rotieren? Wie zuverlässig können Sie Informationen in großem Maßstab sammeln?

Diese Fragen sind für viele Anwendungen weiterhin wichtig. Unsere Web Scraping API beispielsweise ist darauf ausgelegt, einen Großteil der beim Sammeln öffentlicher Webdaten beteiligten Infrastruktur zu entfernen, während unsere SERP API strukturierte Suchergebnisse über geografische Standorte und Geräte hinweg liefert.

Aber es gibt eine andere Art, über Proxy-Infrastruktur nachzudenken. Für Forscher ist die wichtige Fähigkeit möglicherweise nicht einfach Sammlung. Es könnte kontrollierte Präsenz sein.

Ein Forschungssystem sollte in der Lage sein zu sagen, dass eine Beobachtung eine Verbindung aus Frankreich darstellte, eine andere Deutschland, beide innerhalb eines definierten Zeitfensters durchgeführt wurden und die übrigen experimentellen Bedingungen so ähnlich wie möglich gehalten wurden.

Das verändert die Frage von “wie viel des Webs können wir sammeln?” zu “wie zuverlässig können wir die Bedingungen reproduzieren, unter denen das Web beobachtet wurde?” Das ist ein sehr anderes Infrastrukturproblem. Und wir glauben, dass es mit der Reifung des DSA-Forschungsökosystems zu einem wichtigeren werden wird.

Wie ein DSA-Forschungsstack aussehen könnte

Ein ausgereiftes Projekt zur Plattformverantwortlichkeit wird selten von einer einzigen Quelle von Nachweisen abhängen. Stattdessen erwarten wir, dass Forschungsteams geschichtete Systeme aufbauen.

NachweisebeneWas sie liefertBeispiele
Von der Plattform bereitgestellte NachweiseVon der Plattform gehaltene oder offengelegte InformationenDSA-Datensätze, offizielle APIs, Werbe-Repositories, Transparenzoffenlegungen
Kontrollierte BeobachtungWiederholbare Nachweise aus dem nutzerorientierten DienstDefinierte geografische Beobachtungspunkte, Geräteprofile und Sitzungen
HerkunftsmetadatenKontext, der benötigt wird, um eine Beobachtung zu verstehen und zu reproduzierenZeitstempel, Land und Stadt, ASN oder ISP, Gerät, Sprache und Sitzungsstatus
Vergleich und ValidierungTestet, ob ein Ergebnis isoliert oder systematisch istMarktübergreifende Vergleiche, wiederholte Tests und kontrollierte Variablenänderungen
ForschungsgovernanceKontrollen um verantwortungsvolle Sammlung und NutzungDatenminimierung, Sicherheitskontrollen, ethische Überprüfung und dokumentierter Zweck

Residentielle Proxy-Infrastruktur gehört vorwiegend in die Ebenen kontrollierte Beobachtung und Herkunftsnachweis. Sie ist kein Ersatz für DSA-Zugang. Sie ersetzt keine internen Datensätze. Und sie beantwortet nicht jede Forschungsfrage. Ihre Rolle besteht darin, einen bekannten externen Beobachtungspunkt zu etablieren und zu reproduzieren.

Diese Unterscheidung ist wichtig, denn dies sollte keine Debatte über APIs versus Scraping werden. Es sollte eine Debatte über Beweisqualität werden.

Die nächste Transparenzdebatte wird sich um Reproduzierbarkeit drehen

Der DSA verändert bereits, was Plattformen offenlegen müssen. Die nächste Herausforderung besteht darin festzustellen, ob Behauptungen über Plattformverhalten unabhängig getestet werden können.

Wenn eine Plattform sagt, dass eine bestimmte Offenlegung europäischen Nutzern angezeigt wird, kann ein Forscher dies reproduzieren? Wenn ein Werbe-Repository eine Sache meldet, zeigt die öffentliche Schnittstelle etwas anderes? Wenn Forscher ein Empfehlungsmuster in einem Mitgliedstaat identifizieren, erscheint es anderswo? Wenn sich eine Schnittstelle nach regulatorischer Prüfung ändert, können unabhängige Beobachter dokumentieren, wann und wo die Änderung stattfand?

Und wenn eine Studie sechs Monate später wiederholt wird, wurden genügend kontextuelle Metadaten aufbewahrt, um zu verstehen, ob Unterschiede von der Plattform, dem Standort, dem Gerät oder der Forschungsmethode stammen?

Diese Fragen bewegen Plattformtransparenz weg von einfacher Offenlegung und hin zu Reproduzierbarkeit. Das könnte einer der wichtigsten langfristigen Effekte des DSA sein. Er schafft nicht nur Mechanismen, über die Forscher Daten anfordern können. Er hilft, die Bedingungen für eine rigorosere Wissenschaft der Plattformbeobachtung zu schaffen.

Fazit

Der Datenzugang unter dem Digital Services Act stellt eine bedeutende Verbesserung der Fähigkeit unabhängiger Forscher dar, Europas größte Online-Plattformen zu verstehen. Aber von der Plattform gehaltene Daten sind nur eine Perspektive.

Um zu verstehen, wie digitale Systeme Nutzer beeinflussen, müssen Forscher diese Systeme auch von außen beobachten: über Länder, Geräte, Sitzungen, Schnittstellen und Zeit hinweg.

Die Zukunft der Plattformverantwortlichkeit wird daher wahrscheinlich nicht um eine einzige Nachweisquelle herum aufgebaut sein. Sie wird von Triangulation abhängen: was die Plattform aufzeichnet, was die Plattform offenlegt, und was unabhängige Forscher reproduzieren können.

Bei Shifter glauben wir, dass geografische Beobachtungspunkt-Infrastruktur eine nützliche Rolle in dieser dritten Kategorie spielen kann.

Wenn Regulierungsbehörden und Forscher verstehen wollen, wie Europas größte Plattformen von europäischen Nutzern erlebt werden, ist der Standort, von dem aus diese Plattformen beobachtet werden, keine technische Fußnote. Er ist Teil des Nachweises.

Dieser Artikel dient nur der allgemeinen Information und stellt keine Rechtsberatung dar.

Bereit, loszulegen?

Testen Sie Shifters Residential-Proxys, 205M+ IPs, 195+ Länder, ab 0,75 $/GB.

Jetzt starten