Scraping

Aufbau einer Creative-Bibliothek für Wettbewerber mit automatisiertem Scraping

Eine Creative-Bibliothek ist ein Problem der Deduplizierung und Metadaten, kein Download-Problem. So baut man eine auf, die durchsuchbar und legal bleibt.

Chris Collins

Chris Collins

10. September 2026 · 8 Min. Lesezeit

Die meisten Creative-Bibliotheken für Wettbewerber sterben auf dieselbe Weise. Die Sammlung funktioniert, Assets häufen sich an, und nach vier Monaten gibt es neunzigtausend Dateien, die niemand durchsuchen kann, in denen dieselbe Anzeige zweihundertmal auftaucht, weil sich ein Tracking-Parameter geändert hat, und die kein Stratege öffnet, weil das Finden von irgendetwas länger dauert, als einen Kollegen zu fragen.

Das technische Problem ist nicht die Beschaffung von Creatives. Es ist Deduplizierung und Metadaten. Bekommt man diese beiden richtig hin, ist auch eine bescheidene Bibliothek wirklich nützlich. Bekommt man sie falsch hin, macht Volumen es schlimmer, nicht besser.

Zuerst aus den erlaubten Quellen sammeln

Bevor man irgendetwas aufbaut, sollte man die Ad-Bibliotheken der Plattformen nutzen. Meta, Google, TikTok und LinkedIn veröffentlichen alle durchsuchbare Archive aktiver Werbung, und sie sind die günstigste, vollständigste und am besten vertretbare Quelle für Wettbewerber-Creatives, die es gibt.

Sie liefern das Asset, den Werbetreibenden, die Laufzeiten und oft die Placements, in einer Form, die zum Abfragen gedacht ist. Dort sollte man anfangen und Sammlung nur für das aufbauen, was sie nicht abdecken: Display- und Native-Placements, Retail Media, Affiliate-Inhalte, E-Mail- und Newsletter-Placements sowie Landingpage-Assets.

Diese Reihenfolge ist auch kommerziell und rechtlich von Bedeutung. Technischer Aufwand, der für das erneute Sammeln von bereits durch ein Archiv veröffentlichten Inhalten aufgewendet wird, ist Aufwand, der nicht in die Teile investiert wird, die sonst niemand hat.

Deduplizierung ist das gesamte System

Dasselbe Creative erreicht einen auf viele Arten: erneut ausgeliefert mit unterschiedlichen Tracking-Parametern, für andere Placements neu skaliert, von einem CDN neu komprimiert, vom Werbetreibenden ohne Änderungen erneut hochgeladen, oder zweimal vom eigenen Collector erfasst.

Exaktes File-Hashing löst das nicht, denn ein einziges Byte Unterschied erzeugt einen anderen Hash, und CDNs erzeugen solche Unterschiede ständig. Was funktioniert, ist eine geschichtete Identität.

Perceptual Hashing für Bilder. Ein Hash, der aus der Bildstruktur berechnet wird statt aus den Bytes, sodass eine skalierte oder neu komprimierte Version desselben Creatives nahe am Original landet. Den Hash speichern und nach Distanzschwelle gruppieren, nicht nach Gleichheit.

Frame-Sampling für Video. Perceptual Hashes von Frames in festen Intervallen, plus Dauer. Ein mit anderer Bitrate neu kodiertes Video passt; ein tatsächlich anderer Schnitt nicht.

Normalisierter Copy-Text. Überschrift und Fließtext mit normalisierter Groß-/Kleinschreibung, Interpunktion und Leerzeichen. Der Copy-Text ist oft der stabilste Identifikator, wenn das Asset selbst überarbeitet wurde.

Eine Creative-Familie statt eines flachen Datensatzes. Varianten unter einem Parent gruppieren und jede Variante mit ihm verknüpft halten. Die Variantenzahl ist ein echtes Signal, denn ein Wettbewerber, der vierzig Varianten eines Konzepts produziert, testet, und das ist wissenswert.

Die Distanzschwelle empirisch bestimmen, indem man eine Stichprobe abgeglichener und nicht abgeglichener Paare manuell überprüft, und dann die resultierenden Raten für falsche Zusammenführungen und falsche Trennungen festhalten. Ohne diese Zahlen kann niemand den Fehler in einem auf der Bibliothek basierenden Bericht abschätzen.

Durchsuchbar machen, was Textextraktion bedeutet

Ein Bild, das niemand durchsuchen kann, ist eine Datei. Der Großteil des Werts einer Creative-Bibliothek liegt darin, fragen zu können, welche Wettbewerber eine bestimmte Aussage verwenden, und das erfordert die Worte.

OCR über Bild-Creatives laufen lassen, um den Text auf dem Bild zu erfassen, wo häufig das eigentliche Angebot steht. Video und Audio transkribieren. Dann den extrahierten Text zusammen mit den strukturierten Metadaten indexieren. Dieser eine Schritt ist der Unterschied zwischen einer Bibliothek, die genutzt wird, und einem Archiv, das in Vergessenheit gerät.

Den extrahierten Text als eigenes Feld speichern, statt etwas zu überschreiben, und den Konfidenzwert behalten. OCR bei stilisiertem Werbetext ist unvollkommen, und eine Extraktion mit niedriger Konfidenz sollte sichtbar niedrige Konfidenz haben, statt still falsch zu sein.

Das Metadatenschema

Das Asset ist die kleinere Hälfte eines Datensatzes.

FeldAnmerkungen
Creative-Family-IDDer Dedupe-Parent, sodass Varianten gruppiert werden
Perceptual HashPlus der verwendete Algorithmus und Schwellenwert, damit Ergebnisse reproduzierbar bleiben
Werbetreibender wie angezeigtUnterscheidet sich häufiger als erwartet von der Mutter-Marke
Surface und PlacementSuche, Feed, Display, Native, Retail Media, E-Mail
MarktLand, und Stadt, wo das Placement lokal ist
Erstmals und zuletzt gesehenDas Laufzeitfenster, wie beobachtet, nicht wie behauptet
Vantage PointAusgangsland und -stadt, aus dem die Beobachtung stammte
GeräteprofilDesktop oder Mobil, da sich das Creative unterscheidet
Extrahierter TextOCR oder Transkript, mit Konfidenzwert
Landing-URL und Redirect-KetteWo das Angebot tatsächlich landet
QuelleAus welcher Ad-Bibliothek oder welchem beobachteten Placement es stammt

Erstmals und zuletzt gesehen sind es, was aus einer Bibliothek eine Zeitleiste macht. Ein Creative, das vier Monate lief, ist ein bewährter Performer; eines, das sechs Tage lief, war ein gescheiterter Test. Diese Unterscheidung macht den Großteil des strategischen Werts aus und kostet ein Feld.

Die Collection-Schicht

Zwei Eigenschaften sind für die Teile wichtig, die die Ad-Bibliotheken nicht abdecken.

Display- und Native-Creatives sind zielgerichtet, sodass der Vantage Point bestimmt, was einem überhaupt ausgeliefert wird. Residential Proxies mit Länder-Targeting sorgen dafür, dass die Sammlung jedes Marktes aus diesem Markt stammt. Beim Shifter-Gateway gehen Targeting und Session in die Zugangsdaten gegen p.shifter.io:443:

customer-USERNAME-country-de-sid-creative-de-07-ttl-600:PASSWORD

country-de legt den Markt fest, und sid-creative-de-07 hält einen Exit über einen Sammeldurchlauf hinweg, sodass die Creatives in einem Snapshot zu einer kohärenten Session gehören statt zu mehreren vermischten Vantage Points.

Die zweite Eigenschaft ist die Bandbreite, und Creative-Sammlung ist ungewöhnlich schwergewichtig, weil die Nutzlast der Sinn der Sache ist. Bilder und Video sind das Asset, daher gilt der übliche Rat, sie zu blockieren, hier nicht. Stattdessen sollte man das Volumen kontrollieren: vor dem Download deduplizieren, wo immer die Quelle eine Asset-URL offenlegt, die man hashen oder mit dem bereits Vorhandenen vergleichen kann, ein erneutes Abrufen einer Creative-Familie überspringen, von der man bereits Varianten hat, und die Auflösung dort begrenzen, wo ein Thumbnail die Frage beantwortet. Die Dimensionierung der Pipeline wird in Forecasting residential proxy bandwidth behandelt, die Kostenhebel in Cutting proxy bandwidth costs.

Anfrageraten normal halten mit echtem Backoff, wie in Rate limiting and request throttling.

Urheberrecht, unverblümt

Das Creative eines Wettbewerbers ist dessen urheberrechtlich geschütztes Werk. Es für interne Wettbewerbsanalysen zu sammeln, ist gewöhnliche Geschäftsrecherche. Es zu republizieren ist es nicht.

Die praktischen Regeln, die eine Bibliothek vertretbar halten: sie intern und unter Zugriffskontrolle halten und sie in nichts Kundenzugewandtem oder Öffentlichem sichtbar machen. Das Asset eines Wettbewerbers nicht in der eigenen Werbung, auf der eigenen Website oder in veröffentlichten Inhalten verwenden. In internen Präsentationen die Quelle nennen und Quelle sowie Datum bei jedem Datensatz festhalten. Eine Aufbewahrungsfrist festlegen, statt alles auf ewig zu behalten. Und vor jeder externen Verwendung Rat einholen, auch bei einer Vertriebspräsentation, die das Haus verlässt.

Nicht auf Wettbewerber-Anzeigen klicken, um zu deren Creative oder Landingpage zu gelangen. Ein Klick kostet sie Geld, was aus Beobachtung Einmischung macht; stattdessen das Ziel aus dem Markup und der Redirect-Kette auflösen. Der breitere Rahmen findet sich in Residential proxies for competitor ad intelligence.

Wofür eine funktionierende Bibliothek genutzt wird

Vier Fragen rechtfertigen den Aufbau, und sie sind allesamt Abfragen über Metadaten statt Durchstöbern von Assets.

Welche Aussagen machen Wettbewerber, und wo. Eine Textsuche über extrahierten Copy-Text, aufgeschlüsselt nach Markt.

Was überlebt. Creatives, gerangt nach beobachteter Laufzeit, was der nächstliegende öffentliche Proxy dafür ist, was performt.

Was getestet wird. Variantenzahlen pro Creative-Familie, und wie schnell neue Familien auftauchen.

Wann sich die Positionierung verschoben hat. Eine Zeitleiste der Erstsichtungsdaten für Familien, die eine neue Aussage tragen, was häufig einen marktweisen Rollout zeigt.

FAQ

Wie weit sollte eine Bibliothek zurückreichen?

Genug, um festzustellen, was Bestand hat, was üblicherweise ein Jahr bedeutet. Aufbewahrung darüber hinaus ändert selten eine Entscheidung und vergrößert die urheberrechtliche Angriffsfläche, die man hält.

Sollte ich die Assets oder nur die URLs speichern?

Die Assets speichern. Creative-URLs laufen ab, und eine Bibliothek toter Links ist keine Bibliothek. Die URL zusätzlich speichern, zur Herkunftssicherung.

Was ist der häufigste Grund, warum diese Projekte scheitern?

Keine Deduplizierung, gefolgt von keiner Textextraktion. Ersteres macht die Bibliothek durch Volumen unbrauchbar, Letzteres macht sie undurchsuchbar.

Darf ich Wettbewerber-Creatives in einem öffentlichen Blogbeitrag oder einer Anzeige zeigen?

Nicht ohne rechtlichen Rat. Interne Analyse ist die sichere Nutzung. Veröffentlichung ist die urheberrechtliche Entscheidung eines anderen, nicht die eigene.

Fazit

Eine Creative-Bibliothek für Wettbewerber ist ein Metadatenprodukt mit angehängten Dateien. Zuerst die offiziellen Ad-Bibliotheken abfragen, nur das sammeln, was sie nicht abdecken, jedem Asset eine perceptuelle Identität geben, damit Varianten sich gruppieren statt sich aufzutürmen, den Text extrahieren, damit die Sache durchsuchbar ist, und Erstmals- und Zuletzt-gesehen-Daten festhalten, damit man ein bewährtes Creative von einem gescheiterten Test unterscheiden kann.

Alles intern halten, die Herkunft festhalten und das Creative eines anderen als das Eigentum eines anderen behandeln. Die Produktansicht findet sich auf der Seite Marketing und Adtech, mit Preisen auf der Preisseite.

Bereit, loszulegen?

Testen Sie Shifters Residential-Proxys, 205M+ IPs, 195+ Länder, ab 0,75 $/GB.

Jetzt starten