Desktop-Crawler wie Screaming Frog und Sitebulb senden in kurzer Zeit Hunderte oder Tausende Anfragen an eine Website, alle von einer einzigen IP-Adresse. Auf Ihrer eigenen Website ist das selten ein Problem. Auf der Website eines Wettbewerbers, in einem großen E-Commerce-Katalog oder hinter einer strengen Firewall bricht der Crawl dagegen oft auf halber Strecke ab: 403- und 429-Antworten, CAPTCHA-Seiten, die als Inhalt gezählt werden, oder eine Website, die Ihrer Büro-IP stillschweigend eine andere Version ausliefert.
Ein Proxy löst die Adressfrage. Außerdem können Sie damit eine Website so prüfen, wie Besucher in einem anderen Land sie sehen, was für internationales SEO wichtig ist. Dieser Leitfaden zeigt, wann ein Audit tatsächlich einen Proxy braucht, wie Sie ihn in den wichtigsten Tools einrichten und welche Einstellungen über den Erfolg des Crawls entscheiden. Er ist Teil unserer umfassenderen Arbeit zum SEO-Monitoring, bei der es zur Hälfte darum geht, Seiten vom richtigen Ort aus zu sehen.
Wann ein Site-Audit einen Proxy braucht
Audits von Websites, die Sie nicht kontrollieren. Wettbewerbsaudits, Content-Gap-Analysen und Pre-Sales-Audits für Interessenten crawlen allesamt Websites, die Ihrem Crawl nie zugestimmt haben. Firewalls und CDNs begrenzen die Rate pro IP, und ein Schwall von Anfragen von einer einzigen Adresse ist für sie das am leichtesten zu blockierende Muster.
Lokalisierte Versionen prüfen. Websites leiten je nach Land um, ändern Preise und Währung und blenden außerhalb eines Marktes manchmal ganze Bereiche aus. Ein Crawl aus Ihrem Büro sieht immer nur eine Version. Ein Crawl über eine IP im jeweiligen Zielland zeigt, was Besucher und lokale Suchende erhalten, und lässt Sie prüfen, ob hreflang-Alternativen tatsächlich aufgelöst werden. Unser Leitfaden dazu, wie Sie mit hreflang jede Sprachversion einer Seite finden, behandelt diesen Teil des Audits.
Geo- oder netzwerkbasierte Tricks aufdecken. Manche Websites, darunter viele gehackte, liefern Büro- und Rechenzentrumsnetzen andere Inhalte aus als Privatnutzern. Ein Crawl über Privatanschlüsse im richtigen Markt zeigt Ihnen die echte Version.
Wann Sie keinen brauchen. Für Ihre eigene Website ist es besser, die IP-Adresse Ihres Crawlers in Ihrer Firewall oder Ihrem CDN auf die Allowlist zu setzen oder eine Staging-Kopie zu crawlen. Ein Proxy bringt zusätzliche Kosten und eine weitere Fehlerquelle in einen Crawl, den Sie einfach freigeben können.
Proxy in Screaming Frog einrichten
Der SEO Spider von Screaming Frog hat eine Proxy-Einstellung unter File > Settings > Proxy unter Windows und Linux sowie unter Screaming Frog SEO Spider > Settings > Proxy unter macOS. Aktivieren Sie „Use Proxy Server”, geben Sie Proxy-Adresse und Port ein und hinterlegen Sie Ihre Proxy-Zugangsdaten.
Drei Details aus der Dokumentation von Screaming Frog bestimmen, wie Sie die Einstellung nutzen:
- Es lässt sich nur ein Proxy-Server konfigurieren. Eine integrierte Rotation über eine Liste gibt es nicht. Wenn Sie Rotation wünschen, muss der Proxy selbst sie übernehmen.
- Sie müssen das Tool neu starten, damit Proxy-Änderungen wirksam werden.
- Es gibt keine Ausnahmen. Entweder läuft der gesamte HTTP- und HTTPS-Traffic des Crawlers über den Proxy oder gar keiner.
Wegen dieser Ein-Proxy-Grenze eignet sich ein Residential Proxy mit Gateway gut für Crawler: Sie geben einen einzigen Endpunkt ein, und das Gateway entscheidet anhand des Targetings in Ihrem Benutzernamen, welche Exit-IP jede Anfrage nutzt. Schlägt der Crawl sofort mit Authentifizierungsfehlern fehl, listet unser Leitfaden zum Beheben von 407-Proxy-Authentifizierungsfehlern die üblichen Ursachen auf.
Proxy in Sitebulb einrichten
Öffnen Sie in Sitebulb über die obere Navigation die Settings und wechseln Sie zum Tab Proxy. Es handelt sich um globale Einstellungen, die damit zum Standard für jedes neue Audit werden. Denken Sie daran, den Proxy vor Audits Ihrer eigenen Websites wieder auszuschalten, sonst laufen auch diese Audits darüber.
Andere Audit-Tools folgen demselben Muster: ein einzelnes Proxy-Feld in den Anwendungs- oder Projekteinstellungen. Cloudbasierte Crawler laufen meist von eigenen Servern aus und akzeptieren überhaupt keinen Proxy. Das ist ein Grund, warum Desktop-Crawler für Wettbewerbsanalysen weiterhin verbreitet sind.
Rotierend oder Sticky: den Sitzungstyp wählen
Mit einem Gateway entscheiden Sie, ob jede Anfrage eine neue Exit-IP erhält oder ob der Crawl eine Weile bei derselben IP bleibt.
Rotation pro Anfrage verteilt den Crawl auf viele Adressen, sodass keine einzelne IP genug Traffic sendet, um ein Rate Limit auszulösen. Das funktioniert gut bei statischen Seiten und großen Katalogen ohne Logins und mit wenigen Cookies.
Sticky Sessions behalten dieselbe IP für eine festgelegte Zeit. Nutzen Sie sie, wenn die Website Cookies, Einwilligungsentscheidungen oder ein gewähltes Land an die Sitzung bindet oder wenn ein IP-Wechsel mitten im Crawl neue Bot-Prüfungen auslöst. Wählen Sie die Sitzungsdauer länger als einen typischen Anfrageschub des Crawls, damit die IP nicht wechselt, während zusammengehörige Seiten laden.
Unser Entscheidungsrahmen für das Rotieren von Proxy-IPs geht ausführlicher auf diese Abwägung ein. Für lokalisierte Audits fügen Sie dem Proxy-Benutzernamen das Land und bei Bedarf die Stadt hinzu, damit jede Anfrage in dem Markt austritt, den Sie prüfen.
Crawl-Einstellungen, die wichtiger sind als der Proxy
Ein Proxy ändert, woher Anfragen kommen. Er macht einen aggressiven Crawl nicht akzeptabel, und mehrere Einstellungen im Crawler sind genauso wichtig.
Geschwindigkeit. Screaming Frog crawlt standardmäßig mit 5 Threads und lässt Sie den Crawl unter Configuration > Speed auf eine bestimmte Zahl von URLs pro Sekunde begrenzen. Halten Sie die Rate auf fremden Websites niedrig und lassen Sie den Crawl länger dauern. Ein schneller Crawl, der auf viele IPs verteilt ist, bleibt für den empfangenden Server ein schneller Crawl.
User Agent. Unter Configuration > User-Agent können Sie als Browser oder als Googlebot crawlen. Ein Googlebot-User-Agent von einer Nicht-Google-IP ist leicht zu erkennen, und Websites, die Crawler verifizieren, stufen ihn als verdächtig ein. Für Wettbewerbsaudits ist ein normaler Browser-User-Agent die sicherere Wahl.
Was Sie abrufen. Residential-Traffic wird meist pro GB abgerechnet. Bilder, Schriften, Videos und Skripte können den Großteil des Seitengewichts ausmachen. Geht es im Audit um HTML, Titel, Links und Statuscodes, schließen Sie die Ressourcentypen aus, die Sie nicht brauchen. JavaScript-Rendering lädt jede Ressource, die auch ein Browser laden würde. Aktivieren Sie es daher nur für die Bereiche, die es erfordern.
Robots.txt. Beide Tools beachten robots.txt standardmäßig. Behalten Sie das bei Websites bei, die Ihnen nicht gehören.
FAQ
Kann Screaming Frog Proxys rotieren?
Nicht über eine Liste. Screaming Frog akzeptiert einen einzigen Proxy-Server. Um IPs zu rotieren, verweisen Sie ihn auf ein Proxy-Gateway, das pro Anfrage oder pro Sitzung eine neue Exit-IP zuweist.
Brauche ich einen Proxy, um meine eigene Website zu crawlen?
In der Regel nicht. Die IP Ihres Crawlers in Ihrer Firewall oder Ihrem CDN freizugeben ist einfacher und günstiger. Nutzen Sie einen Proxy auf Ihrer eigenen Website nur, wenn Sie sie aus einem anderen Land oder Netz sehen müssen.
Welcher Proxy-Typ eignet sich am besten für SEO-Crawler?
Residential Proxys sind am zuverlässigsten bei Websites mit strengem Bot-Schutz und für den Blick auf lokalisierte Versionen, weil die Anfragen von Privatanschlüssen im gewählten Land kommen. Datacenter-Proxys sind günstiger und können bei wenig geschützten Websites funktionieren.
Warum zeigt mein Crawl 403- oder 429-Fehler?
Die Website blockiert Ihre Anfragen oder begrenzt deren Rate. Senken Sie zuerst die Crawl-Geschwindigkeit und crawlen Sie dann über rotierende IPs, falls die Limits pro Adresse gelten.
Fazit
Desktop-Crawler senden jede Anfrage von einer einzigen IP, was für Ihre eigene Website in Ordnung ist und für alle anderen ein Problem. Für Wettbewerbs- und internationale Audits verweisen Sie Screaming Frog oder Sitebulb auf einen einzigen Gateway-Endpunkt, wählen rotierende oder Sticky Sessions passend zur Website, zielen auf das Land, das Sie prüfen, und halten den Crawl langsam und auf die Seiten und Ressourcen beschränkt, die Sie tatsächlich brauchen.