Teams, die bereits Marketplace-Daten sammeln, gehen Walmart tendenziell so an, wie sie Amazon angegangen sind, und die Zahlen kommen auf eine Weise falsch heraus, die leicht zu übersehen ist. Nichts erzeugt einen Fehler. Die Preise sehen plausibel aus. Sie stimmen nur nicht mit dem überein, was ein Käufer in Dallas oder Tampa tatsächlich sieht, und die Abweichung ist systematisch statt zufällig.
Der Grund ist strukturell. Walmart ist ein Filialnetz mit einer Website davor, kein nationaler Katalog. Preis und Verfügbarkeit werden gegen eine bestimmte Filiale aufgelöst, und die Filiale wird anhand von Signalen für Sie ausgewählt, die Sie möglicherweise nicht kontrollieren.
Die Filiale ist die Einheit der Wahrheit
Für einen großen Teil des Sortiments variieren drei Dinge je Filiale:
Preis. Rollbacks, Räumungsverkäufe und regionale Preisgestaltung bedeuten, dass derselbe Artikel in zwei Filialen vierzig Meilen voneinander entfernt unterschiedliche Preise tragen kann.
Verfügbarkeit. Der Lagerbestand vor Ort ist per Definition standortbezogen, und die angebotenen Versand- und Abholoptionen hängen davon ab, an welche Filiale und welches Fulfillment-Center die Sitzung gebunden ist.
Sortiment. Manche Artikel werden in manchen Filialen schlicht nicht geführt, was sich als fehlendes Produkt liest statt als ausverkauftes.
Wenn Ihre Erfassungsschicht keine Filiale festlegt, wählt die Website eine für Sie basierend auf dem scheinbaren Standort der Anfrage aus, und sie kann morgen eine andere wählen. Das Ergebnis ist eine Zeitreihe, in der Preisbewegungen teils real sind und teils daher rühren, dass sich die Filiale unbemerkt unter Ihnen verändert. Das ist schlimmer als fehlende Daten, weil es wie ein Trend aussieht.
Dieselbe Falle gilt für jeden Händler mit lokaler Fulfillment-Struktur. Die allgemeine Version dieses Arguments findet sich in monitoring product availability and stock.
Zwei Signale entscheiden, welche Filiale Sie bekommen
Es gibt den Standort, von dem Ihre Anfrage scheinbar kommt, also die IP-Adresse und ihre Geolokation, und es gibt die Filiale oder PLZ, die Sie explizit in der Sitzung auswählen. Das sind unterschiedliche Mechanismen, und sie müssen übereinstimmen.
Eine Datacenter-IP in Virginia mit einer Sitzung, die eine Filiale in Phoenix beansprucht, ist ein inkonsistentes Paar. Es funktioniert manchmal, manchmal löst es sich unbemerkt zu etwas anderem auf, und genau das ist die Art von Signal, die Anti-Bot-Systeme im Einzelhandel stark gewichten. Eine residential IP in der Metropolregion, nach der Sie fragen, macht das Paar kohärent, und darum geht es: Sie bilden einen Käufer nach, Sie behaupten keinen Standort.
Erst die Geografie festlegen, dann die Sitzung
Beim Shifter-Gateway erfolgt das Targeting im Benutzernamen statt über einen separaten API-Aufruf. Richten Sie sich auf p.shifter.io:443 und kodieren Sie Standort und Sitzung in den Zugangsdaten:
customer-USERNAME-country-us-city-dallas-sid-store2354-ttl-600:PASSWORDDrei Teile sind hier wichtig. country-us und city-dallas platzieren den Exit in der richtigen Metropolregion. sid-store2354 benennt eine feste Sitzung, sodass jede mit dieser Kennung markierte Anfrage von derselben IP ausgeht. ttl-600 hält diese IP zehn Minuten lang, lang genug, um eine Filiale auszuwählen, eine Kategorie zu durchlaufen und eine Reihe von Produktseiten zu lesen, ohne dass sich der Standort mitten im Crawl verschiebt.
Beachten Sie, dass ttl nur zusammen mit sid sinnvoll ist. Ohne Sitzungskennung gibt es nichts, das aufrechtzuerhalten wäre, und die standardmäßige Rotation greift.
Das mentale Modell, das Sie mitnehmen sollten: eine feste Sitzung pro Filiale, wiederverwendet über die Artikel, die Sie für diese Filiale prüfen, statt einer Sitzung pro Anfrage. Zwischen jeder Produktseite zu rotieren ist hier der häufigste Konfigurationsfehler, denn es löst die Filialauflösung ständig neu aus und erzeugt genau die Drift, die Sie eigentlich beseitigen wollten. Die Abwägungen sind dargelegt in sticky vs rotating sessions.
Städte verwenden einfache Kleinbuchstabennamen mit Unterstrichen für Leerzeichen, und Länder verwenden ISO-Alpha-2-Codes. Wenn ein Filter zu eng ist, um erfüllt zu werden, antwortet das Gateway mit 502, statt Ihnen still einen Exit irgendwo anders zu geben, und genau das ist das Verhalten, das Sie wollen, wenn Filialgenauigkeit der eigentliche Punkt ist.
Erfassen Sie die Filiale, nicht nur den Preis
Das Schema ist der Punkt, an dem die meisten Walmart-Panels gewonnen oder verloren werden. Eine Zeile, die besagt “Artikel X kostete am Dienstag $14.98”, ist keine verwertbare Beobachtung, weil sie genau das auslässt, was den Preis bestimmt.
Erfassen Sie mindestens:
- Artikelkennung
- Filialkennung, auf die die Sitzung tatsächlich aufgelöst wurde
- Preis, und separat jeden durchgestrichenen Preis oder Vorher-Preis
- Verfügbarkeitsstatus, aufgeteilt in im Laden, Abholung und Versand
- Verkäufer, da Drittanbieter-Angebote sich anders verhalten als Erstanbieter-Angebote
- Land und Stadt, von denen aus die Anfrage ausgetreten ist
- Erfassungszeitstempel in UTC
Die Filialkennung sollte aus der Antwort ausgelesen werden, statt aus dem, was Sie angefordert haben, angenommen zu werden. Dieses eine Feld verwandelt einen unerklärlichen Preissprung in eine sichtbare Filialänderung, und das ist der Unterschied zwischen einem Panel, das Sie verteidigen können, und einem Diagramm, für das Sie sich entschuldigen müssen.
Unterscheiden Sie die vier Arten, wie eine Prüfung fehlschlägt
Die Erfassung im Einzelhandel erzeugt Fehlermodi, die alle wie “keine Daten” aussehen, wenn Sie sie nicht trennen:
Blockiert. Sie haben eine Challenge oder eine Zwischenseite erhalten. Die Beobachtung fehlt, und der Artikel sollte erneut versucht werden, nicht als nicht verfügbar erfasst werden.
Ausverkauft. Eine gültige Seite, die besagt, dass der Artikel in dieser Filiale nicht verfügbar ist. Das sind echte Daten und gehören in die Reihe.
Nicht geführt. Der Artikel existiert nicht im Sortiment dieser Filiale. Ebenfalls echt, und anders als ausverkauft.
Falsche Filiale. Die Seite wurde gerendert, aber gegen eine Filiale, nach der Sie nicht gefragt haben. Das ist der gefährliche Fall, weil er eine sauber aussehende Zeile mit dem falschen Wert erzeugt.
Nur der erste Fall rechtfertigt einen erneuten Versuch. Die mittleren beiden zu vermischen glättet echte Sortimentsunterschiede, und den vierten als gültig zu behandeln ist der Weg, wie schlechte Zahlen auf ein Dashboard gelangen. Auf der Transportseite bedeutet 407 falsche Zugangsdaten oder ein fehlerhaftes Targeting-Flag, 502 bedeutet, dass keine Exits zu Ihrem Filter passen, und 509 bedeutet, dass das Bandbreitenkontingent aufgebraucht ist.
Taktung, und warum sie langweilig sein sollte
Preis-Panels neigen stark zu hoher Frequenz. Widerstehen Sie dem aus zwei Gründen.
Der erste ist, dass das Anfragevolumen gegenüber einer Einzelhandelsseite das Signal ist, das am ehesten dazu führt, dass ein Erfassungsmuster auffällt, und die Lösung sind nicht mehr IPs, sondern ein Zeitplan, der wie Nachfrage aussieht statt wie ein Durchlauf. Verteilen Sie Prüfungen über den Tag, halten Sie die Nebenläufigkeit pro Filiale moderat, und drosseln Sie bei Fehlern, statt sich durchzuhämmern. Die Mechanik wird behandelt in rate limiting and request throttling.
Der zweite ist Kosten. Residential-Traffic wird nach Bandbreite abgerechnet, daher ist der Hebel Bytes pro Beobachtung, nicht Anfragen pro Stunde. Überspringen Sie Bilder, bevorzugen Sie die leichteste Antwort, die die benötigten Felder enthält, und rufen Sie keine vollständige Kategorieseite erneut ab, wenn Sie nur drei Artikel daraus benötigen. Eine genauere Behandlung findet sich in cutting proxy bandwidth costs.
Für die meisten Einzelhandels-Panels reicht ein täglicher Abruf pro Filiale und Artikel aus, um die relevanten Bewegungen zu erkennen, wobei eine schnellere Taktung einer kleinen Watchlist hochwertiger Artikel vorbehalten bleibt.
Dimensionierung eines Walmart-Panels
Bandbreite folgt einem einfachen Produkt: erfasste Artikel, mal erfasste Filialen, mal Prüfungen pro Tag, mal Bytes pro Prüfung. Der Filialmultiplikator ist der, den man vergisst, und er ist derjenige, der am schnellsten wächst, denn das Hinzufügen von zwanzig Metropolregionen zu einem Panel mit fünftausend Artikeln ergibt hunderttausend Beobachtungen pro Durchlauf.
Beginnen Sie mit einem engen Filialset, das die Märkte widerspiegelt, über die Sie tatsächlich Entscheidungen treffen, messen Sie die tatsächlichen Bytes pro Prüfung eine Woche lang, und erweitern Sie dann. Eine ausgearbeitete Methode findet sich in estimating monthly residential proxy bandwidth, und aktuelle Tarife stehen auf der residential proxy pricing page.
FAQ
Brauche ich eine residential IP, wenn ich bereits eine PLZ in der Sitzung auswähle?
Für Konsistenz, ja. Einen Standort auszuwählen, während man aus einem Datacenter-Bereich in einer anderen Region ankommt, ist ein inkohärentes Paar, und es wird auch so behandelt. Die explizite Auswahl sagt der Website, was Sie wollen; die IP ist das, was sie glaubt.
Wie viele Filialen sollte eine Sitzung abdecken?
Eine. Verwenden Sie eine feste Sitzung über die Artikel für eine einzelne Filiale hinweg wieder, und nehmen Sie dann eine neue Sitzung für die nächste Filiale. Filialen innerhalb einer Sitzung zu mischen ist das, was Zuordnungsfehler erzeugt.
Unterscheidet sich die Walmart-Datenerfassung von Amazon?
Die Mechanik überschneidet sich, aber die Filialdimension ist spezifisch für Walmart und verändert das Schema. Wenn Sie eine bestehende Marketplace-Pipeline erweitern, deckt scraping Amazon product data die Teile ab, die sich übertragen lassen.
Was ist mit Angeboten von Drittanbietern im Marketplace?
Erfassen Sie das Verkäuferfeld und behandeln Sie Erstanbieter- und Drittanbieter-Zeilen als separate Reihen. Sie zu vermischen erzeugt Preisverläufe, die aus Gründen springen, die nichts mit Preisentscheidungen zu tun haben.
Fazit
Walmart-Preis- und Bestandsdaten sind nur dann aussagekräftig, wenn sie an eine Filiale gebunden sind, und sie an eine Filiale zu binden bedeutet, sowohl den scheinbaren Standort der Anfrage als auch die Persistenz der Sitzung zu kontrollieren, die diesen aufgelöst hat. Geo-gezielte residential Exits mit festen Sitzungen geben Ihnen diese Kontrolle; die aufgelöste Filiale zu erfassen gibt Ihnen die Möglichkeit, es zu belegen.
Bringen Sie diese beiden Dinge in Ordnung, und der Rest der Pipeline ist gewöhnliche Einzelhandelserfassung. Bringen Sie sie durcheinander, und Sie werden ein Dashboard haben, das selbstbewusst und durchgehend falsch ist. Breiteren Einzelhandelskontext finden Sie in proxies for e-commerce activities und im price intelligence use case.