Viele der folgenreichsten Recherchen beginnen in öffentlichen Registern: ein Handelsregister, das denselben Direktor hinter fünfzig Mantelgesellschaften zeigt, Vergabebekanntmachungen, die offenlegen, dass ein Auftrag gesplittet wurde, um unter einem Schwellenwert zu bleiben, Gerichtsunterlagen, die einer öffentlichen Erklärung widersprechen. Die Information war die ganze Zeit öffentlich zugänglich. Die eigentliche Arbeit bestand darin, sie systematisch zu sammeln, unverändert zu bewahren und zu prüfen, bevor sich jemand darauf verließ.
Das in großem Maßstab zu tun, ist ein Problem der Datensammlung, und die Gewohnheiten, die Sammlung für Unternehmen verlässlich machen, zählen noch mehr, wenn das Ergebnis unter einem Namen veröffentlicht wird. Dieser Leitfaden beschreibt eine Methode zum Sammeln öffentlicher Register für Berichterstattung und Recherche: wo man anfängt, wie man sammelt, wie man Beweise bewahrt, wie man sie verifiziert, und die ethischen Fragen, die damit einhergehen.
Die wichtigsten Punkte
- Beginnen Sie mit offiziellen Massendaten und APIs. Viele Register veröffentlichen kostenlose Downloads oder APIs, die vollständiger und besser zu verteidigen sind als das Scraping ihrer Websites.
- Sammeln Sie nach einem schriftlichen Plan: was Sie brauchen, woher, wie oft und was Sie nicht sammeln werden.
- Bewahren Sie jeden Datensatz exakt so auf, wie er ausgeliefert wurde, mit Hash, Zeitstempel und der Adresse, von der er stammt, damit Sie später beweisen können, was die Quelle gesagt hat.
- Verifizieren Sie, bevor Sie veröffentlichen: Bestätigen Sie Datensätze anhand einer zweiten Quelle oder der ausstellenden Stelle, und behandeln Sie jeden einzelnen Datensatz als Hinweis, nicht als Befund.
- Öffentlich bedeutet nicht harmlos. Personenbezogene Daten in öffentlichen Registern verdienen weiterhin Datensparsamkeit, Sorgfalt und einen klaren Grund des öffentlichen Interesses.
Beginnen Sie mit dem, was zur Weiterverwendung veröffentlicht wird
Bevor Sie einen Scraper schreiben, prüfen Sie, ob die Quelle ihre Daten bereits zur Weiterverwendung veröffentlicht. Das ist oft der Fall, und offizielle Daten lassen sich leichter verteidigen als gescrapte Kopien:
| Quelle | Was verfügbar ist | Hinweise |
|---|---|---|
| UK Companies House | Eine kostenlose öffentliche Daten-API und kostenlose Massendownloads, einschließlich eines monatlichen Unternehmens-Snapshots, Jahresabschlussdaten und einer Datei der Personen mit wesentlicher Kontrolle | Geschäftsführer, Einreichungen und Eigentumsverhältnisse für UK-Unternehmen |
| EU-Vergabe, TED | Bekanntmachungen aus dem Amtsblatt-Supplement, rund 800.000 pro Jahr, verfügbar als offene Daten und über eine API | Ausschreibungen und Vergabeentscheidungen in der gesamten EU |
| US-Bundesgerichte, PACER | Elektronische Gerichtsakten zu $0,10 pro Seite, begrenzt auf $3 pro Dokument, mit Gebührenerlass für Nutzer, die $30 oder weniger pro Quartal ausgeben | Aktenregister und Einreichungen; Kosten summieren sich bei großem Umfang |
Massendaten haben einen weiteren Vorteil: Sie erfassen das gesamte Register zu einem bestimmten Zeitpunkt, was es ermöglicht, Muster zu finden, etwa Cluster von Unternehmen an einer Adresse, die das seitenweise Durchblättern nie zeigt. Wo nur eine Website existiert, sammeln Sie von dort sorgfältig, wie unten beschrieben.
Sammeln Sie nach einem Plan
Ein kurzer schriftlicher Plan vor Beginn der Sammlung hält die Arbeit fokussiert und verteidigbar:
- Die Frage. Was Sie zu klären versuchen und welche Datensätze dies bestätigen oder widerlegen könnten.
- Die Quellen. Welche Register, Portale und Archive, und warum jede für ihren Teil maßgeblich ist.
- Die Felder. Was Sie sammeln werden und was Sie bewusst weglassen, insbesondere personenbezogene Daten, die Sie nicht brauchen.
- Der Rhythmus. Ein einzelner Snapshot oder wiederholte Sammlung, um Änderungen und Löschungen zu erfassen.
- Die Methode. Offizielle API, Massendownload oder sorgfältige Sammlung von Webseiten, in einem Tempo, das öffentliche Dienste nicht nennenswert belastet.
Wiederholte Sammlung ist oft der Ort, an dem Geschichten gefunden werden. Datensätze, die sich still ändern, Einreichungen, die geändert werden, und Einträge, die verschwinden, sind nur sichtbar, wenn vorher und nachher gesammelt wurde. Dieselben Techniken, die für Änderungserkennung in großem Maßstab und die Überwachung des öffentlichen Fußabdrucks eines Lieferanten genutzt werden, lassen sich direkt anwenden.
Datensätze so bewahren, wie sie ausgeliefert wurden
Ein Screenshot ist kein ausreichender Beweis, wenn eine Quelle später bestreitet, was sie veröffentlicht hat. Bewahren Sie den Datensatz exakt so auf, wie der Server ihn zurückgegeben hat, sowie den Kontext, der nötig ist, um zu zeigen, woher und wann er stammt. Die folgende Funktion speichert den Antworttext unverändert, benannt nach seinem SHA-256-Hash, und hängt eine Protokollzeile mit URL, Status, Zeit und Hash an:
import hashlib
import json
from datetime import datetime, timezone
from pathlib import Path
import requests
def capture(url, folder, session=None, note=""):
"""Save a public record exactly as served, with a hash and the context needed to verify it later."""
session = session or requests.Session()
response = session.get(url, timeout=30)
body = response.content
digest = hashlib.sha256(body).hexdigest()
retrieved = datetime.now(timezone.utc).isoformat(timespec="seconds")
folder = Path(folder)
folder.mkdir(parents=True, exist_ok=True)
(folder / f"{digest}.body").write_bytes(body)
record = {
"requested_url": url,
"final_url": response.url,
"status": response.status_code,
"retrieved_utc": retrieved,
"sha256": digest,
"bytes": len(body),
"content_type": response.headers.get("content-type", ""),
"last_modified": response.headers.get("last-modified"),
"note": note,
}
with open(folder / "log.jsonl", "a", encoding="utf-8") as log:
log.write(json.dumps(record) + "\n")
return recordAngewendet auf eine öffentliche Unternehmensseite im UK-Register:
import requests
from capture import capture
session = requests.Session()
session.headers["User-Agent"] = "ExampleNewsroom/1.0 (+https://example.org/research)"
record = capture("https://find-and-update.company-information.service.gov.uk/company/00445790",
"records", session, note="registered office check")
print(record["status"], record["sha256"], record["retrieved_utc"])Zwei Erfassungen dieser Seite im Abstand von zehn Sekunden ergaben denselben Hash, und genau darum geht es: Wenn ein Datensatz unverändert ist, kann jeder ihn Byte für Byte bestätigen, und wenn er sich ändert, zeigt der Hash genau, wann. Für größere Sammlungen speichert das in die Rohantwort bewahren beschriebene WARC-Format Anfragen und Antworten gemeinsam mit Standardwerkzeugen, und gerichtsfeste Beweise aus Online-Angeboten behandelt die zusätzlichen Schritte, wenn Material in einem Gerichtsverfahren landen könnte. Eine gleichzeitig angefertigte Erfassung in einem öffentlichen Webarchiv liefert eine unabhängige Bestätigung.
Halten Sie auch fest, von wo aus die Sammlung durchgeführt wurde. Manche Portale zeigen je nach Standort des Besuchers unterschiedliche Inhalte oder Sprache, und das Festhalten des Standpunkts, wie in das Plädoyer für einen Standpunkt-Standard dargelegt, ermöglicht es anderen, nachzuvollziehen, was Sie gesehen haben.
Verifizieren Sie, bevor Sie veröffentlichen
Öffentliche Register sind oft falsch, veraltet oder mehrdeutig. Register verzeichnen, was eingereicht wurde, nicht was wahr ist; Namen werden wiederverwendet; Adressen werden von vielen Unternehmen geteilt, die über denselben Gründungsdienstleister registriert wurden. Verifizierung macht aus einem Datensatz einen Befund:
| Prüfung | Wovor sie schützt |
|---|---|
| Mit der ausstellenden Stelle oder einer zweiten offiziellen Quelle bestätigen | Übertragungsfehler und veraltete Einträge |
| Anhand von Kennungen abgleichen, nicht anhand von Namen | Verschiedene Personen oder Unternehmen mit demselben Namen |
| Daten und Versionen prüfen | Geänderte Einreichungen, überholte Datensätze, Zeitzonenverwirrung |
| Nach unschuldigen Erklärungen suchen | Adressen von Gründungsdienstleistern, nominelle Geschäftsführer, routinemäßige Einreichungen |
| Den Betroffenen vor Veröffentlichung fragen | Kontext, den die Register nicht zeigen, und Fairness |
| Die Kette vom Anspruch zum Datensatz bewahren | Jede veröffentlichte Aussage zurückverfolgt zu einem bewahrten, gehashten Datensatz |
Die letzte Zeile ist die Disziplin, auf die es am meisten ankommt. Jede faktische Behauptung in einer Geschichte sollte auf einen bestimmten bewahrten Datensatz verweisen, und jeder im Team sollte ihn öffnen und sehen können, was er an dem Tag sagte, an dem er gesammelt wurde.
Ethik
Das Sammeln öffentlicher Register wirft dieselben ethischen Fragen auf wie jede Berichterstattung. Der Ethikkodex der Society of Professional Journalists ordnet sie unter vier Grundsätzen: die Wahrheit suchen und berichten, Schaden minimieren, unabhängig handeln und rechenschaftspflichtig und transparent sein. Einige davon gelten mit besonderem Gewicht für die Massensammlung:
- Öffentlich ist nicht dasselbe wie harmlos. Register enthalten Wohnadressen, Geburtsdaten und Familiendetails. Sammeln Sie nur, was die Geschichte braucht, beschränken Sie den Zugang zum Rest, und überlegen Sie gründlich, bevor Sie persönliche Details von Personen veröffentlichen, die nicht Gegenstand der Recherche sind.
- Aggregation schafft neue Informationen. Die Kombination von Datensätzen kann Dinge offenlegen, die kein einzelner Datensatz zeigt, was oft der Sinn der Recherche ist und zugleich das Risiko. Wägen Sie das öffentliche Interesse an dem ab, was die Kombination zeigt.
- Respektvoll sammeln. Öffentliche Dienste werden von der Öffentlichkeit bezahlt. Nutzen Sie Massendaten, wo sie existieren, dosieren Sie die Sammlung, identifizieren Sie Ihren Sammler ehrlich, und umgehen Sie keine Zugangskontrollen.
- Das Recht am Arbeitsort beachten. Datenschutz, Urheberrecht und Regeln gegen Computermissbrauch gelten auch für Journalisten, und viele Rechtsordnungen sehen spezifische journalistische oder wissenschaftliche Ausnahmen mit eigenen Bedingungen vor. Unsere Überblicke darüber, ob Web Scraping legal ist und DSGVO und Datensammlung sind ein Ausgangspunkt; konsultieren Sie bei konkreten Projekten die Rechtsabteilung Ihrer Redaktion.
Fazit
Öffentliche Register sind eine der mächtigsten Quellen, die eine Recherche haben kann, und eine der am leichtesten zu missbrauchenden. Beginnen Sie mit den offiziellen Massendaten und APIs, sammeln Sie nach einem schriftlichen Plan, bewahren Sie jeden Datensatz exakt so auf, wie er ausgeliefert wurde, mit Hash und Zeitstempel, verifizieren Sie jeden Befund anhand einer zweiten Quelle und des Betroffenen, und beschränken Sie personenbezogene Daten auf das, was die Geschichte braucht.
Das Ergebnis ist Berichterstattung, die standhält: jede Behauptung zurückverfolgbar zu einem Datensatz, den jeder prüfen kann, gesammelt auf eine Art, die die Redaktion erklären kann.
Quellen und Verweise
- Companies House, Companies House data products.
- Europäische Kommission, Tenders Electronic Daily.
- PACER, Pricing: how fees work.
- Society of Professional Journalists, Code of Ethics.
- Capture-Code getestet von Shifter am 5. Oktober 2026 anhand einer öffentlichen Companies-House-Seite.