Wer einen Crawler lange genug betreibt, bemerkt es: derselbe Job, gegen dieselben Sites, mit demselben Code, schlägt an manchen Tagen häufiger fehl als an anderen. Dienstag ist unproblematisch. Samstag ist schlechter. Die letzte Novemberwoche ist eine andere Welt. Es liegt nahe, das als Rauschen abzutun. Meist ist es das nicht.
Der ehrliche Ausgangspunkt ist, dass kein öffentlicher Datensatz die Blockraten von Scrapern nach Wochentag oder Feiertag misst. Die jüngste größere Studie zur Bot-Blockierung, von der Universität Bamberg aus dem Jahr 2026, war ein einzelner Scan über vier Tage Anfang 2026, ohne Sicht darauf, wie sich die Blockierung über die Zeit verändert. Was existiert, ist eine gute Menge an Daten zu den Faktoren, die Blockraten treiben: wie sich der Anteil des Bot-Traffics verschiebt, wenn sich der menschliche Traffic verschiebt, was mit Abwehrmaßnahmen bei Spitzenereignissen geschieht, und wann die Leute, die diese Abwehrmaßnahmen ändern, aufhören, sie zu ändern. Zusammengenommen erklären sie das meiste von dem, was Crawler-Betreiber beobachten.
Wichtigste Erkenntnisse
- Es gibt keine veröffentlichte Messung von Scraper-Blockraten nach Wochentag oder Feiertag. Wer eine zitiert, sollte nach der Methode gefragt werden.
- Der Bot-Anteil steigt, wenn der menschliche Traffic sinkt. Cloudflare maß einen Rückgang des Gesamtverkehrs um etwa 4% an Wochenenden, aber nur etwa 1% bei verifizierten Bots.
- Spitzen-Shopping-Ereignisse bringen mehr Bots und stärkere Abwehrmaßnahmen. Imperva maß schlechte Bots bei 26,3% des Einzelhandelsverkehrs in der Feiertagssaison, gegenüber einem Jahresdurchschnitt von 22,7%.
- Der schlimmste Bot-Tag ist nicht immer der bekannte. Queue-its Einzelhandelsstichprobe verzeichnete am 11. Dezember 2024 nicht-menschlichen Traffic von 83% der Besuche, nicht am Black Friday.
- Change Freezes sind dokumentierte Praxis rund um die Spitzensaison und das Jahresende, sodass Abwehrmaßnahmen tendenziell davor und danach geändert werden, nicht währenddessen.
Warum ein Kalender die Blockraten überhaupt bewegen würde
Eine Site, die entscheidet, ob sie eine Anfrage herausfordern oder blockieren soll, trifft in den meisten modernen Setups ein Urteil gegen ihren aktuellen Traffic. Drei Dinge im Kalender verändern dieses Urteil:
- Die Verkehrsmischung. Wenn Menschen verschwinden, macht der verbleibende automatisierte Traffic einen größeren Anteil am Ganzen aus, und Anteil ist oft das, was Verteidiger und Modelle alarmiert.
- Der Einsatz. An einem Verkaufstag oder bei einem Ticket-Drop ist einer Site weit mehr daran gelegen, Scalper, Credential Stuffing und Bestandshortung zu verhindern, und sie toleriert mehr Reibung, um dies zu stoppen.
- Die Leute. Regeln werden von Teams geschrieben und angepasst, die Urlaub nehmen und Änderungen genau in den wichtigsten Momenten einfrieren.
Für jeden Punkt gibt es Belege.
Wochenenden: Menschen gehen, Bots meist nicht
Der menschliche Internet-Traffic hat einen starken wöchentlichen Rhythmus. Eine Analyse des UK Office for National Statistics’ Data Science Campus zum Traffic am London Internet Exchange stellte fest, dass “Wochenenden tendenziell weniger Traffic aufweisen, wobei Wochentage in der Mitte die höchsten Mengen zeigen”, wobei der Traffic um Bankfeiertage herum im Durchschnitt etwa 7,8% niedriger lag, und die Weihnachtszeit noch niedriger.
Automatisierter Traffic ist stetiger. Cloudflares Analyse von Januar bis Juli 2020 ergab, dass ein typischer Werktag leicht über dem Durchschnitt liegt, während Wochenenden “einen Rückgang des Gesamtverkehrs um etwa 4%” zeigen, ein Muster, das “nicht vollständig für verifizierte Bots gilt, die nur einen geringen Rückgang von 1% verzeichnen”. Dieselbe Analyse fand menschlichen Traffic zwischen Mitternacht und 05:00 UTC etwa 15% niedriger und zwischen 14:00 und 17:00 UTC bis zu 25% höher.
Wenn der automatisierte Traffic einer Site stabil bleibt, während ihr menschlicher Traffic sinkt, steigt der automatisierte Anteil, und damit auch die Wahrscheinlichkeit, dass eine bestimmte automatisierte Anfrage ungewöhnlich erscheint. Das ist der plausibelste Mechanismus hinter schlechteren Wochenend- und Nachtblockraten, und deshalb kann stetiges, planloses Crawling an einem Sonntag mehr auffallen als an einem Dienstag.
Es gibt ein wichtiges Gegenbeispiel. Integral Ad Science, das Bot-Traffic in Werbeimpressionen über 391 Tage maß, fand für die von ihm verfolgten Bots das gegenteilige Muster: Wochentags-Bot-Traffic etwa 21,2% höher als an Wochenenden, gegenüber nur 6,9% bei Menschen. Nicht jede Automatisierung ist stetig. Betrugsoperationen, die menschliche Zeitpläne imitieren, verhalten sich anders als Crawler, und die Abwehrmaßnahmen einer Site sehen alles auf einmal. Der wöchentliche Effekt auf die eigene Blockrate ist eine empirische Frage, pro Ziel.
Spitzenereignisse: mehr Bots, mehr Reibung
Der Shopping-Kalender konzentriert beide Seiten des Problems.
| Befund | Quelle |
|---|---|
| Schlechte Bots machten 2023 26,3% des Einzelhandelsverkehrs in der Feiertagssaison aus, gegenüber einem Jahresdurchschnitt von 22,7%; Account-Takeover-Angriffe stiegen am Black Friday um 85% | Imperva, November 2023 |
| Am Black Friday 2024 machten Bots bis zu 19% des E-Commerce-Verkehrs aus, Menschen 81%; Bots stellten 63% der Anmeldeversuche, leicht weniger als einen Monat zuvor, da menschliche Anmeldungen zunahmen | Cloudflare, Dezember 2024 |
| Über Cyber Five 2025 hinweg kamen 28% der Anfragen von einem Bot oder einem Rechenzentrum, gegenüber 36% im Jahr 2024; 97% der verdächtigen Besucher, denen eine Challenge gezeigt wurde, scheiterten daran | Queue-it, 138 Einzelhändler, Dezember 2025 |
| Über die Saison 2024 wurden 46% der Besuche als Bot- oder Rechenzentrumsverkehr markiert; der schlimmste Tag war der 11. Dezember, mit 83% | Queue-it, Dezember 2024 |
| Einzelhändler in der Stichprobe von 2025 setzten 787 Warteräume ein, die über die Saison mehr als 2.000 Mal aktiviert wurden | Queue-it, Dezember 2025 |
Zwei Details verdienen Hervorhebung. Erstens zeigen die Cloudflare-Zahlen, dass am größten Tag das menschliche Wachstum den Bot-Anteil tatsächlich verwässern kann, weil Menschen in weit größerer Zahl erscheinen. Ein Spitzentag ist nicht zwangsläufig der Tag, an dem der eigene automatisierte Anteil am schlechtesten aussieht. Zweitens zeigen die Queue-it-Zahlen, dass der schlimmste Tag für nicht-menschlichen Traffic Mitte Dezember liegt, nicht am Black Friday. Sites, die ihre Abwehrmaßnahmen für ein bekanntes Ereignis verschärfen, können diese über Wochen hinweg verschärft lassen.
Die praktische Konsequenz ist, dass jeder Crawler, der Einzelhandel, Ticketing oder Reisen anvisiert, von Mitte November bis Dezember mehr Challenges, mehr Warteräume und geringere Toleranz erwarten sollte, unabhängig vom eigenen Verhalten.
Feiertage: ruhiger, und manchmal gelassener
Feiertage wirken in beide Richtungen. Der menschliche Traffic sinkt: Cloudflare maß den US-Traffic an Thanksgiving 2023 etwa 10% niedriger als in der Vorwoche. Offenbar auch ein Teil des Angriffsverkehrs. Dieselbe Analyse ergab, dass Thanksgiving in diesem Monat “den niedrigsten Prozentsatz an Traffic aufwies, der als DDoS-Angriffe auf die USA eingestuft wurde”.
Für einen Crawler kombiniert ein Feiertag im Zielland niedrigeren menschlichen Traffic, der den automatisierten Anteil erhöht, mit dünnerer Personalbesetzung auf der Verteidigerseite. Der Nettoeffekt auf die eigene Blockrate hängt vom Ziel ab. Konstant ist, dass Feiertage lokal sind. Ein Dienstag in einem Land ist ein Feiertag in einem anderen, was ein weiterer Grund ist, pro Ziel und pro Markt zu messen statt global.
Change Freezes: wenn Abwehrmaßnahmen aufhören sich zu bewegen
Regeln ändern sich, wenn Menschen sie ändern, und Menschen frieren Änderungen zu vorhersehbaren Zeiten ein. Das ist dokumentierte Praxis, keine Legende.
- Shopify Engineering beschrieb einen Feature-Freeze, der “mehrere Wochen vor BFCM beginnt”, und einen Code-Freeze wenige Tage vor und während des Ereignisses, bei dem “nur kritische Fixes bereitgestellt werden können”.
- GitLab definiert eine Production Change Lock als “eine vollständige Pause aller Produktionsänderungen während Zeiträumen reduzierter Teamverfügbarkeit, wie etwa an großen Feiertagen”.
- Cloudflares WAF-verwaltete Regeln folgen “einem siebentägigen Release-Zyklus, typischerweise montags oder dienstags (angepasst an Feiertage)”.
Freezes machen die Spitzensaison seltsam stabil, sobald sie beginnt: Abwehrmaßnahmen werden in den Wochen davor verschärft und dann weitgehend unangetastet gelassen. Sie machen auch den Januar zu einer Saison der Veränderung. Regeln, die über die Feiertage verschoben wurden, werden ausgeliefert, wenn die Teams zurückkehren, und genau dann kann ein Crawler, der den ganzen Dezember über funktioniert hat, ohne eigene Änderung ausfallen.
Miss deinen eigenen Kalender
Da kein öffentlicher Datensatz die Frage für die eigenen Ziele beantwortet, ist die einzig verlässliche Antwort die eigenen Logs. Die Methode ist einfach: Blockrate pro Ziel, pro Wochentag und Stunde berechnen, in der lokalen Zeitzone des Ziels, und jeden Slot mit der Gesamtrate dieses Ziels vergleichen.
from collections import defaultdict
from datetime import datetime
def block_rate_by_slot(rows, tz=None, min_requests=50):
"""rows: (target, iso_timestamp, blocked). Block rate per target, weekday and hour."""
counts = defaultdict(lambda: [0, 0])
for target, ts, blocked in rows:
t = datetime.fromisoformat(ts)
if tz is not None:
t = t.astimezone(tz)
slot = (target, t.strftime("%a"), t.hour)
counts[slot][0] += 1
counts[slot][1] += int(blocked)
return {
slot: round(b / n, 3)
for slot, (n, b) in counts.items()
if n >= min_requests
}
Zähle Soft Blocks als Blocks, nicht nur Fehlercodes, da eine Challenge-Seite, die mit Erfolgsstatus ausgeliefert wird, immer noch eine Ablehnung ist; die Silent-Failure-Rate behandelt, wie man diese erkennt. Behalte mindestens einige Wochen Historie, bevor du Schlüsse ziehst, und markiere bekannte Ereignisse und lokale Feiertage, damit ein schlechter Black Friday nicht zu deinem Modell für jeden Freitag wird.
Entsprechend planen
Sobald man die Kalender der eigenen Ziele kennt, ergeben sich einige Anpassungen von selbst.
- Baseline pro Wochentag, nicht pro Tag. Ein Health Score, der Samstag mit einem Wochentagsdurchschnitt vergleicht, wird an jedem Wochenende Alarm schlagen. Vergleiche Gleiches mit Gleichem, wie in building a target health score beschrieben.
- Flexible Arbeit in gute Slots verschieben. Refreshes, die nicht an einem bestimmten Tag laufen müssen, können in die Stunden und Tage verschoben werden, in denen ein Ziel am tolerantesten ist. Cost-aware crawl scheduling gewichtet bereits jeden Besuch nach Kosten; eine höhere erwartete Blockrate ist eine höhere Kosten.
- Am Spitzenzeitpunkt eines Ziels zurückhaltender werden. Ein Einzelhändler an seinem größten Verkaufstag schützt echte Kunden unter echter Last. Geringere Nebenläufigkeit und längere Intervalle während bekannter Ereignisse sind gute Manieren und guter Sinn, und backpressure sollte dies automatisch tun, wenn Blockraten steigen.
- Januar im Auge behalten. Erwarte, dass sich Abwehrmaßnahmen ändern, sobald Freezes aufgehoben werden, und halte Canaries am Laufen, damit du es innerhalb von Stunden bemerkst, nicht Wochen.
- Aus der eigenen Zeitzone und Perspektive des Marktes sammeln. Feiertage und tägliche Rhythmen sind lokal, und das ist auch das, was eine Site ausliefert. Ein länderspezifischer residenzieller Exit, wie
country-deauf Shifters Gateway, lässt einen Crawler eine deutsche Site so sehen, wie ein deutscher Besucher sie an einem deutschen Feiertag sehen würde.
Das Fazit
Blockraten bewegen sich mit dem Kalender aus nachvollziehbaren Gründen: automatisierter Traffic ist stetiger als menschlicher Traffic, sodass sein Anteil steigt, wenn Menschen sich abmelden; Spitzenereignisse bringen mehr Bots und stärkere Abwehrmaßnahmen für Wochen rund um sie herum; und die Teams hinter diesen Abwehrmaßnahmen frieren Änderungen während der geschäftigsten Zeiten ein und nehmen sie danach wieder auf. Nichts davon wurde direkt für Scraper in einem öffentlichen Datensatz gemessen, und die Belege sind nicht einheitlich: manch Bot-Traffic folgt eng menschlichen Zeitplänen.
Das macht den Kalender zu einer Frage, die jedes Team aus seinen eigenen Daten beantworten muss. Schlüssele deine Blockrate nach Ziel, Wochentag und Stunde auf, markiere die Feiertage und Verkaufsereignisse, und plane entsprechend. Das Muster, das du findest, wird spezifisch für deine Ziele sein, und weit nützlicher als jeder globale Durchschnitt.
Quellen und Referenzen
- Gundelach, Mühlhauser und Herrmann, Detecting Bot Detection, arXiv, 12. Juni 2026. Scans 27. Februar bis 2. März 2026.
- Cloudflare, Bot Attack trends for Jan-Jul 2020, 20. Oktober 2020.
- Phil Stubbings, ONS Data Science Campus, Detecting collective human behaviour in internet traffic volume data, 18. Juli 2019.
- Integral Ad Science, How Does Bot Traffic Vary Over Time?, 18. Dezember 2023.
- Imperva, Five Observations from 2023 Black Friday and Cyber Monday, November 2023.
- Adam Martinetti, Cloudflare, Grinch Bots strike again, 23. Dezember 2024.
- Queue-it, 2025 Holiday Shopping Stats, 24. Dezember 2025, und 2024 Holiday Shopping Stats, 24. Dezember 2024.
- João Tomé, Cloudflare, Do hackers eat turkey?, 24. November 2023.
- Camilo Lopez, Shopify Engineering, Preparing Shopify for Black Friday and Cyber Monday, 21. Dezember 2018.
- GitLab, Dedicated maintenance. Production Change Locks.
- Cloudflare, WAF changelog. Release-Zyklus verwalteter Regeln.