Amazon-Produktdaten scrapen (Preise, Bewertungen, Rankings) mit Proxies

Amazon ist der größte Produktdatensatz im offenen Web, und ihn zu scrapen, Preise, Bewertungen, Rankings, Verfügbarkeit, treibt Preisüberwachung, Digital-Shelf-Analytics, Marktforschung und Wettbewerbsintelligenz an. Es ist auch eine der am aggressivsten verteidigten Seiten, auf die Sie je einen Scraper richten werden. Machen Sie das Setup falsch, treffen Sie innerhalb einer Handvoll Anfragen auf die “Robot Check”-Seite, einen 503 oder Daten aus dem falschen Land.

Dies ist ein praktischer Leitfaden, es richtig zu machen: was Sie aus einer Amazon-Produktseite ziehen können, warum es ohne die richtige Infrastruktur bricht, und wie Sie es sauber über Residential Proxies erfassen. Die Kurzfassung: Amazon ist nach Marktplatz geo-geteilt und hart zu Bots, also müssen Sie als echter Käufer im richtigen Land abrufen, und genau dafür sind Residential Proxies da.

Was Sie aus einer Amazon-Produktseite scrapen können

Ein Amazon-Listing ist dicht an öffentlichen, strukturierten Daten. Die Felder, die Teams am häufigsten erfassen:

• Preis und Angebotsinfo — aktueller Preis, Listenpreis, Rabatte und Coupons.
• Verfügbarkeit und Buy Box — auf Lager oder nicht, und welcher Verkäufer die Buy Box gewinnt.
• Best Sellers Rank (BSR) — Amazons Ranking innerhalb einer Kategorie, ein Nachfrage-Proxy.
• Bewertungen und Rezensionen — Sternebewertung, Rezensionsanzahl und Rezensionstext.
• Produktdetail — Titel, Bullets, Beschreibung, Bilder, Varianten und Spezifikationen.
• Verkäuferinfo — der Verkäufer und die Versanddetails im Angebot.

All das steht auf der öffentlichen Seite. Der Haken: Amazon entscheidet, welche Seite es Ihnen zeigt, basierend darauf, wo Sie zu sein scheinen und ob Sie wie ein echter Käufer aussehen.

Warum Amazon schwer ist: es ist ein Proxy-Problem

Drei Eigenschaften von Amazon machen das Scrapen zu einem Zugangsproblem, das auf der Proxy-Ebene landet.

Amazon ist nach Marktplatz geteilt und geo-personalisiert. Amazon betreibt separate Marktplätze pro Land, amazon.com, amazon.de, amazon.co.uk, amazon.co.jp, und jeder hat andere Preise, Verfügbarkeit, Verkäufer und sogar Katalog. Obendrein personalisiert ein einzelner Marktplatz Preis und Lieferung nach dem Standort des Käufers. Rufen Sie amazon.de von einer US-IP ab, bekommen Sie vielleicht eine Weiterleitung, ein anderes Erlebnis, oder eine Verfügbarkeit, die ein deutscher Käufer nie sehen würde. Um einen Marktplatz genau zu erfassen, müssen Sie aus diesem Land kommen, wofür Länder- und Stadt-Targeting da ist.

Amazon verteidigt sich hart gegen Bots. Rechenzentrums-IPs werden schnell markiert und bekommen den CAPTCHA “Robot Check”, einen 503 oder Throttling, sodass Sie die Bot-Version aufzeichnen, nicht die Seite des Käufers. (Warum Scraper blockiert werden behandelt die Mechanik.) Residential-IPs tragen das Vertrauen echter Nutzer, sodass Amazon Ihnen das echte Listing ausliefert.

Die Abdeckung ist hochvolumig und wiederholt. Viele ASINs über Marktplätze jeden Tag zu verfolgen, sind eine Menge Anfragen. Von einer Handvoll IPs lösen Sie schnell Rate-Limits aus und bekommen eine partielle, blockdurchsetzte Stichprobe. Ein großer rotierender Pool ist es, der den Crawl vollständig hält.

Die Lösung für alle drei ist dieselbe: von Residential-IPs abrufen, die zum Land des Marktplatzes passen, im großen Maßstab rotierend.

Schritt 1: über eine Residential-IP im richtigen Land routen

Am Shifter-Gateway wählen Sie ein Land, indem Sie es in den Proxy-Benutzernamen kodieren, ein Endpunkt, keine IP-Listen. Bringen Sie das Proxy-Land mit der Marktplatz-Domain in Einklang: amazon.com von einer US-IP, amazon.de von einer deutschen IP.

# amazon.com als US-Käufer
curl -x customer-USERNAME-country-us:PASSWORD@p.shifter.io:443 \
  "https://www.amazon.com/dp/B0EXAMPLE"

# amazon.de als deutscher Käufer
curl -x customer-USERNAME-country-de:PASSWORD@p.shifter.io:443 \
  "https://www.amazon.de/dp/B0EXAMPLE"

Jedes Produkt hat eine stabile ASIN (der B0...-Code in der /dp/ASIN-URL), also ist das URL-Muster, sobald Sie Ihre ASIN-Liste haben, über die Marktplätze hinweg vorhersehbar.

Schritt 2: im Code abrufen und parsen

Sie brauchen für Amazon-Produktdaten selten einen Browser, das meiste steht im initialen HTML, also ist ein schlichter HTTP-Client schneller und weit günstiger bei der Bandbreite. Hier die Form in Python (siehe Residential Proxies mit Python für das vollständige Client-Setup):

import os, requests
from bs4 import BeautifulSoup

USER, PASS = os.environ["SHIFTER_USER"], os.environ["SHIFTER_PASS"]
GATEWAY = "p.shifter.io:443"

def proxy(country="us"):
    url = f"http://{USER}-country-{country}:{PASS}@{GATEWAY}"
    return {"http": url, "https": url}

def scrape_product(asin, country="us", tld="com"):
    url = f"https://www.amazon.{tld}/dp/{asin}"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
        "Accept-Language": "en-US,en;q=0.9",
        "Accept-Encoding": "gzip, br",
    }
    r = requests.get(url, headers=headers, proxies=proxy(country), timeout=30)
    r.raise_for_status()
    soup = BeautifulSoup(r.text, "html.parser")
    title = soup.select_one("#productTitle")
    price = soup.select_one(".a-price .a-offscreen")
    rating = soup.select_one("#acrPopover")
    return {
        "asin": asin,
        "title": title.get_text(strip=True) if title else None,
        "price": price.get_text(strip=True) if price else None,
        "rating": rating["title"].strip() if rating and rating.has_attr("title") else None,
    }

print(scrape_product("B0EXAMPLE", country="us", tld="com"))

Zwei Dinge zählen mehr als die Selektoren: senden Sie einen realistischen User-Agent und Accept-Language, die zu Ihrem Proxy-Land passen, und rechnen Sie damit, dass sich Amazons Markup verschiebt, behandeln Sie also jeden Selektor als optional und validieren Sie, was Sie extrahieren. Für Rezensionen fordern Sie die Rezensionsseiten an und paginieren; für den BSR steht er meist im Bereich “Produktinformation” / Detail.

Schritt 3: rotieren, und Sessions halten, wo es hilft

• Pro Anfrage rotieren für breites Katalog-Scraping über viele ASINs, lassen Sie jede Session-ID weg, damit jede Anfrage eine frische IP bekommt.
• Eine Sticky Session halten, wenn Sie durch die Rezensionen eines einzelnen Produkts oder einen mehrstufigen Ablauf paginieren, damit die Sequenz wie ein Käufer aussieht. Fügen Sie -sid-<id>-ttl-<Sekunden> zum Benutzernamen hinzu.

Weil die IP-Qualität entscheidet, wie oft Sie die echte Seite statt eines Robot Checks sehen, hilft das Verständnis der IP-Reputation, den Crawl sauber zu halten.

Schritt 4: Blocks handhaben und Bandbreite niedrig halten

Wenn Amazon ein CAPTCHA/Robot Check oder einen 503 ausliefert, bombardieren Sie nicht, rotieren Sie zu einer frischen IP, machen Sie Backoff, und versuchen Sie erneut. Konsistente Blocks (nicht gelegentliche) deuten auf IP-Qualität oder Anfrageverhalten hin, behandelt in wie man beim Scrapen nicht blockiert wird.

Wenn eine Seite wirklich JavaScript braucht und Sie zu einem Browser greifen, blockieren Sie Bilder, Media und Schriften, damit Sie nicht pro GB für Pixel zahlen, die Sie nie parsen, die Technik steht in wie man Proxy-Bandbreitenkosten senkt. Für die meisten Amazon-Produktfelder genügt schlichtes HTTP und ist am günstigsten.

Verantwortungsvoll einsetzen

Scrapen Sie nur öffentliche Produktdaten, Listings, Preise, Bewertungen und Rezensionstext, die jeder Käufer sehen kann, und halten Sie sich von personenbezogenen Daten fern, Rezensenten-Identitäten und jegliche persönlichen Informationen an Rezensionen sind kein Freiwild. Respektieren Sie Amazons Bedingungen und Rate-Limits, verschlechtern Sie die Seite nicht, und beachten Sie, dass Amazons Nutzungsbedingungen automatisierten Zugriff einschränken, halten Sie die Erfassung also bei öffentlichen Daten und holen Sie sich Rechtsberatung für alles Unsichere (siehe ist Web Scraping legal). Ein Proxy ändert, von welcher IP eine Anfrage kommt, nicht, ob Sie sie stellen sollten; unsere Richtlinie zur akzeptablen Nutzung ist die maßgebliche Quelle dafür, was auf Shifter erlaubt ist.

FAQ

Kann ich Amazon ohne Proxies scrapen? Nicht zuverlässig in irgendeinem Maßstab. Amazon markiert Rechenzentrums- und Wiederhol-IP-Traffic schnell mit CAPTCHAs und 503s, und Sie würden immer nur den Marktplatz eines Landes sehen. Residential Proxies lassen Sie als echter Käufer in jedem Zielland abrufen.

Warum muss das Proxy-Land mit dem Marktplatz übereinstimmen? Weil Amazon-Marktplätze pro Land und geo-personalisiert sind. amazon.de von einer US-IP abzurufen, kann Weiterleitungen auslösen oder Daten zeigen, die ein deutscher Käufer nicht sähe. Bringen Sie das IP-Land mit der Domain in Einklang (amazon.de von einer DE-IP) für genaue Daten.

Brauche ich einen Headless-Browser für Amazon? Meist nicht. Die meisten Produktfelder, Preis, Titel, Bewertung, Verfügbarkeit, stehen im initialen HTML, also ist eine schlichte HTTP-Anfrage schneller und weit günstiger bei der Bandbreite. Reservieren Sie einen Browser für wirklich JavaScript-abhängige Seiten.

Residential- oder Datacenter-Proxies für Amazon? Residential. Amazon erkennt und blockiert Rechenzentrums-IPs aggressiv, sodass Datacenter Ihnen Robot Checks und 503s gibt. Residential-IPs sehen das echte, geo-genaue Listing, das ein echter Käufer sehen würde.

Ist das Scrapen von Amazon legal? Öffentliche Produktdaten sind in der Regel öffentlich zugänglich, und ihre Erfassung ist weithin in Ordnung, wenn sie verantwortungsvoll geschieht, unter Beachtung von Bedingungen und Rate-Limits und Vermeidung personenbezogener Daten. Amazons ToS schränkt automatisierten Zugriff ein, halten Sie es also bei öffentlichen Daten und holen Sie sich Rechtsberatung für alles Unsichere. Ein Proxy ändert die Legalität der zugrunde liegenden Aktivität nicht.

Fazit

Amazon ist eine Goldgrube öffentlicher Produktdaten, aber nach Marktplatz geteilt, geo-personalisiert, und eine der am schwersten ohne Block zu scrapenden Seiten. Das Rezept ist unkompliziert: über eine Residential-IP routen, die zum Land des Marktplatzes passt, das HTML mit einem realistischen Client abrufen, defensiv parsen, im großen Maßstab rotieren, und Robot Checks durch IP-Wechsel statt härteres Drücken handhaben. Tun Sie das, und Sie bekommen die echten Preise, Bewertungen und Rankings, die ein Käufer sieht, in jedem Marktplatz, den Sie verfolgen.

Das Stück, das über Erfolg entscheidet, ist die IP-Qualität, saubere Residential-IPs bedeuten das echte Listing statt eines Robot Checks. Ein hochwertiges Residential-Proxy-Netzwerk ist die Zugangsebene, die Amazon-Scraping zuverlässig macht, und es ist dasselbe Fundament hinter Preisüberwachung und Digital-Shelf-Analytics. Die Preisseite hat die Pro-GB-Tarife, um es gegen die ASINs und Marktplätze zu testen, die Ihnen wichtig sind.