Startups stoßen aus einem bestimmten Grund auf Proxys: Sie benötigen Daten, die öffentlich, aber in großem Umfang nur schwer zu erfassen sind, und zwar bevor sie sich ein Datenteam leisten können. Dieser Leitfaden behandelt, welche Anwendungsfälle die Ausgaben früh rechtfertigen, was jeder davon tatsächlich erfordert und was ein erster Monat kostet.
Der Rahmen ist entscheidend. Ein großes Unternehmen kann jeden der folgenden Anwendungsfälle parallel betreiben. Ein Team aus fünf Personen ohne Umsatz kann das nicht, und sollte es auch nicht versuchen.
Was ein kleines Team rechtfertigen kann
Bevor man einen Anwendungsfall auswählt, gelten drei Einschränkungen, die für größere Unternehmen nicht gelten:
- Das Budget wird in zehn Dollar pro Monat gemessen, nicht in Tausenden. Einstiegspläne für Residential-Proxys beginnen bei etwa zehn Dollar, was gegenüber einem Ingenieurtag ein Rundungsfehler ist. Das ist der richtige Rahmen: Die Frage ist, ob die Daten einen Tag manuelle Arbeit sparen, nicht ob sie kostenlos sind.
- Entwicklungszeit ist die eigentliche Kostenstelle. Ein Scraper braucht einen Tag zum Schreiben und kommt jedes Mal zu Ihnen zurück, wenn das Ziel sein Markup ändert. Kalkulieren Sie Wartungsaufwand ein, oder nutzen Sie eine verwaltete API und zahlen Sie mit Geld statt mit Aufmerksamkeit.
- Beginnen Sie mit einem Anwendungsfall. Das Team, das die Konkurrenzpreise gut überwacht, schlägt das Team, das vier Dinge schlecht macht. Wählen Sie den Fall, der dem Umsatz am nächsten liegt.
Mit welchem Anwendungsfall beginnen
| Anwendungsfall | Proxy-Typ | Typisches Volumen | Einrichtungsaufwand | Beginnen Sie hier, wenn |
|---|---|---|---|---|
| Konkurrenz- und Marktpreise | Rotierende Residential-Proxys | 2 bis 10 GB/Monat | Gering bis moderat | Sie ein Produkt mit vergleichbaren Wettbewerbern verkaufen |
| SEO- und SERP-Überwachung | Rotierende Residential-Proxys | 1 bis 5 GB/Monat | Gering | Organische Suche ein echter Akquisitionskanal ist |
| Lead- und Marktforschung | Rotierende Residential-Proxys | 1 bis 5 GB/Monat | Moderat | Sie B2B verkaufen und Prospecting heute manuell ist |
| Marken- und Anzeigenprüfung in mehreren Regionen | Rotierende Residential-Proxys | Unter 2 GB/Monat | Gering | Sie bezahlte Kampagnen in mehr als einem Land betreiben |
| Multi-Account-Betrieb | ISP-Proxys | Pauschal, pro IP | Gering | Sie Konten über Regionen oder Kunden hinweg verwalten |
Konkurrenz- und Marktpreise
Die direkteste Verbindung zum Umsatz für jeden, der ein Produkt verkauft. Erfassen Sie Konkurrenzpreise, Lagerstatus und Aktionen nach einem Zeitplan, und Sie können gezielt statt nach Vermutung Preise festlegen.
Was einzurichten ist: ein Scraper für 5 bis 20 Produktseiten von Wettbewerbern, ein- oder zweimal täglich ausgeführt, der in eine Tabelle oder eine kleine Datenbank schreibt. Rotierende Residential-Proxys, da Einzelhandelsseiten nach Geografie bepreisen und sich gegen Massenerfassung schützen.
Realistisches Volumen: 20 Konkurrenzseiten zweimal täglich sind etwa 1.200 Seiten pro Monat. Bei 1 bis 2 MB pro Seite sind das unter 3 GB.
Worauf zu achten ist: Preise, die je nach Standort des Besuchers variieren. Erfassen Sie aus der Geografie, in der Sie tatsächlich verkaufen, sonst sind die Zahlen nicht vergleichbar.
SEO- und SERP-Überwachung
Suchergebnisse sind personalisiert und lokalisiert, sodass die Überprüfung der eigenen Rankings vom eigenen Rechner aus sehr wenig aussagt. Proxys lassen Sie Ergebnisse so sehen, wie ein gewöhnlicher Besucher sie in jedem Markt sieht.
Was einzurichten ist: Rank-Tracking für Ihre Ziel-Keywords in den Standorten, in denen Sie verkaufen. Rotierende Residential-Proxys mit Targeting auf Stadtebene, oder die SERP API, falls Sie keinen Such-Scraper warten möchten, was eines der anfälligeren Dinge ist, die man selbst betreiben kann.
Realistisches Volumen: klein. Ein paar hundert Keyword-Prüfungen pro Tag liegen deutlich unter 1 GB pro Monat.
Lead- und Marktforschung
Erfassung von Unternehmensdaten aus öffentlichen Verzeichnissen, Branchenlisten und öffentlichen Profilen, die dann zu etwas angereichert werden, das Ihr Vertriebsprozess nutzen kann.
Was einzurichten ist: Erfassung aus einer kleinen Anzahl öffentlicher Quellen in eine strukturierte Liste. Rotierende Residential-Proxys.
Worauf zu achten ist: Dies ist der Anwendungsfall, bei dem am ehesten personenbezogene Daten betroffen sind, was Datenschutzpflichten mit sich bringt, unabhängig davon, ob die Seite öffentlich war. Verstehen Sie Ihre Rechtsgrundlage, bevor Sie skalieren. Unser Leitfaden zur Rechtmäßigkeit von Proxys und Scraping behandelt das Thema.
Marken- und Anzeigenprüfung in mehreren Regionen
Wenn Sie Anzeigen kaufen, sehen Sie nicht, was ein Kunde in einem anderen Land sieht. Proxys lassen Sie Platzierung, Creative und Landingpages aus dem Zielmarkt prüfen und Anzeigenbetrug oder Fehlplatzierungen erkennen.
Was einzurichten ist: regelmäßige Prüfungen aus jeder Region, in der Sie werben. Sehr geringes Volumen, und eines der günstigsten Dinge auf dieser Liste im Betrieb.
Multi-Account-Betrieb
Legitime Gründe, mehrere Konten auf einer Plattform zu betreiben, sind bei einem wachsenden Unternehmen häufig: separate Konten pro regionalem Markt, eine Agentur, die Kundenkonten getrennt hält, oder ein Konto zur Markenüberwachung, das vom Hauptprofil getrennt gehalten wird.
Was einzurichten ist: eine feste Adresse pro Konto auf den strengen Plattformen, unter Verwendung von ISP-Proxys, damit sich die Adresse nie ändert. Halten Sie die Zuordnung dokumentiert, denn das Verschieben eines Kontos auf eine neue Adresse ist das häufigste selbstverschuldete Problem.
Es sei klar gesagt: Es geht darum, Konten, zu deren Führung Sie berechtigt sind, sauber und getrennt zu betreiben. Es ist keine Technik, um Plattformregeln zur Anzahl erlaubter Konten zu umgehen. Plattformen setzen diese Regeln durch weit mehr als nur die IP-Adresse durch, und ein Konto, das zur Umgehung aufgebaut wurde, ist ein Vermögenswert, der über Nacht verschwinden kann.
Was es kostet
Die Preisgestaltung für Proxys funktioniert nach einem von zwei Modellen.
Pro Gigabyte, verwendet für rotierende Residential-Proxys. Sie zahlen für Traffic, nicht für Adressen, sodass die Kosten mit der erfassten Menge steigen. Einstiegspläne liegen bei etwa fünf oder sechs Dollar pro GB, bei größerem Volumen sinkend auf einen Dollar pro GB. Ein GB entspricht etwa 500 bis 2.000 typischen HTML-Seiten, es reicht also für die Textsammlung weiter, als es klingt.
Pro IP pro Monat, verwendet für ISP-Proxys. Sie zahlen eine Pauschalrate pro Adresse unabhängig vom Traffic, was sich für Kontenarbeit eignet, bei der eine kleine Anzahl von Adressen dauerhaft im Einsatz ist.
Schätzung für den ersten Monat
- Zählen Sie die Seiten. Quellen multipliziert mit Seiten je Quelle, multipliziert mit Prüfungen pro Tag, multipliziert mit 30.
- Multiplizieren Sie mit dem Seitengewicht. Verwenden Sie 1 bis 2 MB für eine normale Seite. Verwenden Sie deutlich mehr, wenn das Ziel JavaScript-Rendering benötigt, da Sie auch Skripte, Stile und Bilder abrufen.
- Fügen Sie 30% für Wiederholungen hinzu. Manche Anfragen schlagen fehl und werden wiederholt. Planen Sie dafür ein.
- Vergleichen Sie mit der Einstiegsstufe. Die meisten frühen Anwendungsfälle landen im niedrigen einstelligen GB-Bereich, was dem kleinsten Plan entspricht.
Der häufigste Schätzfehler ist zu vergessen, dass blockierte Anfragen trotzdem Bandbreite verbrauchen. Ein günstiger Anbieter mit hoher Fehlerrate kann pro erfolgreicher Seite mehr kosten als ein besserer.
Aktuelle Preise finden Sie auf der Preisseite, und die Seite Residential Proxys behandelt Targeting- und Sitzungsoptionen.
Wie sich die Anforderungen mit dem Wachstum ändern
Start: ein Anwendungsfall, Einstiegsplan, Ausgabe in einer Tabelle. Das Ziel ist zu belegen, dass die Daten eine Entscheidung verändern.
Wachstum: zwei oder drei Anwendungsfälle, geplante Erfassung in eine echte Datenbank, Volumen im Bereich von zehn bis mehreren zehn GB. Hier beginnen die Preise pro GB eine Rolle zu spielen und eine verwaltete API wird es wert, gegen die Entwicklungszeit kalkuliert zu werden.
Skalierung: Die Erfassung wird zur Infrastruktur. Dedizierte Adressen für authentifizierte Arbeit, Überwachung von Fehlerraten, und jemand, der dafür verantwortlich ist. Das Kostengespräch verlagert sich vom Preis des Plans hin zu den Gesamtkosten der Wartung von Scrapern.
Das Signal für einen Wechsel in eine höhere Stufe ist nicht das Erreichen einer Bandbreitengrenze. Es ist die Feststellung, dass jemand Stunden pro Woche damit verbringt, die Erfassung am Laufen zu halten.
Fazit
Proxys sind günstig genug, dass die Frage für ein Startup nie wirklich der Preis des Plans ist. Es geht darum, ob die Daten eine Entscheidung verändern und ob Sie die Entwicklungskapazität haben, die Erfassung fortzuführen.
Beginnen Sie mit dem Anwendungsfall, der dem Umsatz am nächsten liegt, betreiben Sie ihn mit einem Einstiegs-Residential-Plan, und erweitern Sie erst, sobald er etwas liefert, auf das Sie reagieren.
Zur Auswahl eines Typs siehe Arten von Proxys, und für Details zur Erfassung Web-Scraping-Proxys.