„Beste Web-Scraping-API für Amazon” ist eine Frage ohne eine einzige Antwort, denn Amazon-Monitoring ist keine einheitliche Aufgabe. Die Preisverfolgung von zweitausend ASINs über fünf Marktplätze hinweg, die Prüfung, wer die Buy Box auf den eigenen Angeboten hält, und die Beobachtung der Bestseller-Fluktuation einer Kategorie betreffen alle Amazon, verlangen aber jeweils unterschiedliche Dinge von einer API.
Statt einer Rangliste von Anbietern, die innerhalb eines Quartals veraltet wäre und nichts über die eigene Arbeitslast aussagt, ordnet dieser Leitfaden die Optionen daher nach Typ, legt die Kriterien dar, die eine gute Amazon-API tatsächlich von einer brauchbaren unterscheiden, und zeigt einen Weg, Kandidaten anhand der eigenen ASINs zu testen, bevor man sich festlegt.
Zunächst ausschließen, was nicht passt
Amazons eigene APIs sind für Verkäufer und Affiliates konzipiert, die mit ihren eigenen Konten arbeiten, und sie unterliegen eigenen Zulassungs- und Nutzungsbedingungen. Sie sind das richtige Werkzeug für die eigenen Angebote, Bestellungen und Bestände. Sie sind kein Weg, um die Angebote, Preise oder Rankings von Wettbewerbern über den gesamten Katalog hinweg zu beobachten, worum es in diesem Leitfaden geht.
Für diese Aufgabe gibt es drei Arten von APIs.
Die drei Arten von APIs für Amazon
Dedizierte E-Commerce-APIs. Strukturierte Endpunkte pro Amazon-Oberfläche: Produkt, Suche, Bestseller, Angebote, Kategorien, Verkäuferprofile. Man sendet eine ASIN oder eine Anfrage und erhält geparstes JSON. Keine Selektoren, kein Parser zu pflegen, und wenn Amazon sein Markup ändert, fängt der Anbieter die Änderung ab.
Allgemeine Web-Scraping-APIs. Man sendet eine beliebige URL, die API kümmert sich um Proxies, Rendering und Wiederholungsversuche, und man erhält HTML oder JSON gemäß selbst definierten Extraktionsregeln. Flexibler, da es bei jedem Händler und jeder Seite funktioniert, und man ist selbst für das Parsing zuständig, einschließlich der Pflege bei Markup-Änderungen.
Selbstverwaltete Proxies. Man betreibt Browser oder HTTP-Client, Parser und Wiederholungslogik selbst, geleitet über Residential Proxies. Maximale Kontrolle und die niedrigsten Stückkosten bei sehr großem Umfang, im Austausch für den größten Engineering-Aufwand. Der Ansatz wird in Scraping von Amazon-Produktdaten mit Proxies behandelt.
| Dedizierte E-Commerce-API | Allgemeine Scraping-API | Selbstverwaltete Proxies | |
|---|---|---|---|
| Ausgabe | Strukturiertes JSON pro Oberfläche | HTML, oder JSON via eigenen Regeln | Was auch immer man baut |
| Parser-Pflege | Anbieter | Man selbst | Man selbst |
| Funktioniert über Amazon hinaus | Beschränkt auf unterstützte Seiten | Jede Seite | Jede Seite |
| Engineering-Aufwand | Am niedrigsten | Moderat | Am höchsten |
| Am besten für | Amazon in großem Umfang, schneller Start | Gemischtes Händler-Monitoring | Sehr großer Umfang, individuelle Abläufe |
Die meisten ausgereiften Preis-Intelligence-Stacks setzen letztlich mehr als eines ein: eine dedizierte API für Amazon und eine allgemeine Scraping-API für den langen Schwanz an Händlern, den kein strukturierter Endpunkt abdeckt.
Die Kriterien, die bei Amazon tatsächlich zählen
Feature-Listen sehen alle ähnlich aus. Dies sind die Eigenschaften, die darüber entscheiden, ob die Daten brauchbar sind.
Marktplatzabdeckung. Amazon ist eine Reihe nationaler Storefronts mit unterschiedlichen Preisen, Verkäufern und Verfügbarkeit für dieselbe ASIN. Prüfen Sie, ob jeder Marktplatz, auf dem Sie verkaufen, unterstützt wird, nicht nur die USA.
Oberflächenabdeckung. Preis-Intelligence benötigt meist mehr als die Produktseite: Suchrankings, Bestseller-Bewegungen, Angebote und Verkäuferdaten, um zu identifizieren, gegen wen man konkurriert. Listen Sie die Oberflächen auf, die Ihr Workflow benötigt, und prüfen Sie jede einzelne.
Trennung von organisch und gesponsert. Suchergebnisse mischen bezahlte und organische Platzierungen. Eine API, die diese in einer undifferenzierten Liste zurückgibt, wird jede Rankinganalyse still und leise verfälschen.
Geräteparität. Mobil und Desktop können Ergebnisse unterschiedlich ordnen. Wenn Ihre Kunden mobil einkaufen, benötigen Sie mobile Ergebnisse.
Ausgabestabilität. Eine strukturierte API ist nur dann wertvoll, wenn ihr Schema hält. Fragen Sie, wie Breaking Changes kommuniziert werden, und beobachten Sie die Feldvollständigkeit während einer Testphase, statt einer Beispielantwort zu vertrauen.
Abrechnung nach Erfolg. Für blockierte oder fehlgeschlagene Anfragen zu zahlen, macht aus einem unzuverlässigen Ziel ein Budgetproblem. Bevorzugen Sie Anbieter, die nur für erfolgreiche Antworten abrechnen, und prüfen Sie, wie „erfolgreich” definiert ist.
Nebenläufigkeit und Aktualität. Die Nebenläufigkeitsobergrenze entscheidet, wie schnell Sie einen Katalog aktualisieren können, was wiederum bestimmt, wie veraltet Ihre Preise werden dürfen.
Ein Detail, das jede Amazon-Pipeline zu Fall bringt
Preise kommen als Anzeigezeichenketten im jeweiligen Format des Marktplatzes zurück, und das Währungssymbol allein identifiziert die Währung nicht: $ auf amazon.com, amazon.ca und amazon.com.au sind drei verschiedene Währungen. Ermitteln Sie die ISO-Währung aus Symbol und Marktplatz zusammen, und speichern Sie die Rohzeichenkette neben dem geparsten Betrag. Das vollständige Ladeschema findet sich in Web-Scraping-API-Daten in SQL überführen.
Die Buy Box ist der andere Fall. Das gewinnende Angebot kann vom Lieferort und davon abhängen, welche Verkäufer gerade aktiv sind, sodass jede API eine Ansicht der Buy Box liefert, nicht die Buy Box. Wissen Sie, welche Ansicht Sie erhalten, und erfassen Sie Marktplatz und Zeitstempel bei jeder Beobachtung.
Wie man Kandidaten anhand der eigenen Daten bewertet
Eine Beispielantwort in der Dokumentation beweist nichts über Ihren Katalog. Führen Sie eine Testphase durch, die die tatsächliche Aufgabe abbildet.
- Wählen Sie eine feste Stichprobe: einige Hundert Ihrer echten ASINs über die Marktplätze, die Sie interessieren, gewichtet zugunsten der wichtigsten Produkte.
- Führen Sie sie eine Woche lang nach Zeitplan aus, im Takt, den Sie im Produktivbetrieb vorsehen.
- Messen Sie die Feldvollständigkeit pro Feld und pro Marktplatz. Ein Preisfeld, das bei 8% der deutschen Produkte leer ist, ist ein reales Ergebnis.
- Stichprobenartige Genauigkeitsprüfung, indem Sie eine zufällige Teilmenge der zurückgegebenen Preise mit der Live-Seite zur gleichen Zeit vergleichen.
- Erfassen Sie Erfolgsrate und Latenz pro Marktplatz, nicht aggregiert, denn ein Anbieter kann in den USA hervorragend und anderswo schwach sein.
- Berechnen Sie die Kosten pro brauchbarem Datensatz, gemeint sind vollständige, genaue, korrekt zugeordnete Zeilen, nicht Kosten pro Anfrage.
Testen Sie jeden Kandidaten an derselben Stichprobe, in derselben Woche, im selben Takt. Anbieter unter unterschiedlichen Bedingungen zu vergleichen ist genau der Fehler, an dem Kaufentscheidungen scheitern, und es ist dasselbe Prinzip, das wir bei unseren eigenen Benchmarks anwenden.
Wo Shifter passt
Die Shifter Amazon API ist eine dedizierte E-Commerce-API. Ein Endpunkt mit einem type-Parameter deckt Suche, Produktdetails, Bestseller, heutige Angebote, Kategorien, Verkäuferprofile, Verkäuferprodukte und Verkäuferbewertungen ab, über 19 Amazon-Marktplätze hinweg, mit Desktop- oder Mobilergebnissen und standardmäßig JSON:
curl "https://ecom.shifter.io/v1?engine=amazon&api_key=YOUR_API_KEY&type=product&product_id=B08C1W5N87&domain=amazon.de"Suchantworten halten gesponserte Platzierungen in einem separaten Feld getrennt von den organischen Ergebnissen, und die Paginierung wird in der Antwort ausgewiesen. Amazon-Aufrufe greifen auf das Kontingent des SERP-API-Plans zu, es gibt also einen Key-Pool und einen Plan für beides. Endpunkte und Parameter finden Sie in der Amazon-API-Dokumentation, Pläne auf der Seite SERP-API-Preise.
Die Shifter Web Scraping API deckt alles ab, was die strukturierten Endpunkte nicht abdecken: andere Händler, Markenseiten und jede Seite, die Sie selbst extrahieren möchten. Sie rendert JavaScript auf Anfrage, gibt JSON gemäß Extraktionsregeln zurück, zielt pro Anfrage auf ein Land, hält Sitzungen für paginierte Abläufe, wiederholt fehlgeschlagene Abrufe automatisch und rechnet nur erfolgreiche Antworten ab. Siehe die Seite Web Scraping API.
Shifter Residential Proxies sind die selbstverwaltete Option, für Teams, die volle Kontrolle über Browser und Parser wünschen.
Die Aufgabe dem Werkzeug zuordnen
| Aufgabe | Beste Passung |
|---|---|
| Preisverfolgung für eine feste ASIN-Liste über Marktplätze hinweg | Dedizierte Amazon-API |
| Suchranking- und Share-of-Shelf-Monitoring | Dedizierte Amazon-API, mit Trennung von gesponsert und organisch |
| Wettbewerberpreise über Amazon und andere Händler hinweg | Amazon-API plus eine allgemeine Scraping-API |
| Verkäuferidentifikation auf den eigenen Angeboten | Verkäuferendpunkte der dedizierten API |
| Individuelle Abläufe, die die strukturierten Endpunkte nicht bieten | Allgemeine Scraping-API oder selbstverwaltete Proxies |
| Sehr große Kataloge mit eigenem Scraping-Engineering | Selbstverwaltete Proxies |
Die nachgelagerten Anwendungen werden behandelt in Aufbau eines Echtzeit-Wettbewerbspreis-Feeds, MAP-Durchsetzung im großen Maßstab und Erkennung von Drittanbietern, die Ihre Angebote kapern.
FAQ
Kann ich Amazons eigene API zur Überwachung von Wettbewerberpreisen nutzen?
Amazons APIs sind für Verkäufer und Affiliates gebaut, die mit ihren eigenen Konten arbeiten, unter eigenen Bedingungen. Für die Überwachung des breiteren Katalogs nutzen Teams eine dedizierte E-Commerce-API, eine allgemeine Scraping-API oder Proxies.
Ist eine dedizierte Amazon-API immer besser als eine allgemeine Scraping-API?
Für die von ihr unterstützten Amazon-Oberflächen lässt sie sich meist schneller integrieren und günstiger pflegen. Eine allgemeine Scraping-API gewinnt, wenn Sie zusätzlich andere Händler überwachen oder Seiten benötigen, die die strukturierten Endpunkte nicht abdecken.
Wie oft sollten Amazon-Preise aktualisiert werden?
Passen Sie den Takt daran an, wie schnell sich Ihre Kategorie tatsächlich bewegt, was Sie während der Testphase messen können. Viele Teams aktualisieren eine priorisierte Beobachtungsliste mehrmals täglich und den langen Schwanz täglich.
Was ist der häufigste Fehler beim Kauf einer Amazon-API?
Die Bewertung anhand einer Beispielantwort statt anhand der eigenen ASINs, über die eigenen Marktplätze hinweg, über eine Woche. Die Feldvollständigkeit außerhalb der USA ist der Punkt, an dem sich die meisten Optionen unterscheiden.
Fazit
Es gibt keine einzige beste Web-Scraping-API für Amazon, nur die beste Passung für eine gegebene Aufgabe. Dedizierte E-Commerce-APIs sind der schnellste Weg zu strukturierten Amazon-Daten über Marktplätze hinweg. Allgemeine Scraping-APIs erweitern dieselbe Pipeline auf jeden anderen Händler. Selbstverwaltete Proxies eignen sich für sehr große, sehr individuelle Betriebe.
Wählen Sie nach Marktplatz- und Oberflächenabdeckung, Trennung von organisch und gesponsert, Ausgabestabilität und erfolgsbasierter Abrechnung, und prüfen Sie die Wahl dann eine Woche lang an Ihren eigenen ASINs, bevor Sie sich festlegen. Der breitere Anwendungsfall findet sich auf der Seite Preis-Intelligence.