Qualquer pessoa que rode um crawler por tempo suficiente percebe: o mesmo job, contra os mesmos sites, com o mesmo código, falha mais em alguns dias do que em outros. Terça-feira está tranquilo. Sábado é pior. A última semana de novembro é um mundo diferente. É tentador chamar isso de ruído. Geralmente não é.
O ponto de partida honesto é que nenhum conjunto de dados público mede taxas de bloqueio de scrapers por dia da semana ou por feriado. O estudo em larga escala mais recente sobre bloqueio de bots, da Universidade de Bamberg em 2026, foi uma varredura única ao longo de quatro dias no início de 2026, sem visão de como o bloqueio muda ao longo do tempo. O que existe é uma boa quantidade de dados sobre os fatores que impulsionam as taxas de bloqueio: como a proporção de tráfego de bots se move quando o tráfego humano se move, o que acontece com as defesas em eventos de pico, e quando as pessoas que alteram essas defesas param de alterá-las. Juntando tudo, isso explica a maior parte do que os operadores de crawlers observam.
Principais conclusões
- Não existe medição publicada de taxas de bloqueio de scrapers por dia da semana ou feriado. Quem citar uma deveria ser questionado sobre o método.
- A proporção de bots sobe quando o tráfego humano cai. A Cloudflare mediu uma queda de cerca de 4% no tráfego geral nos fins de semana, mas apenas cerca de 1% para bots verificados.
- Eventos de pico de compras trazem mais bots e defesas mais pesadas. A Imperva mediu bots ruins em 26,3% do tráfego de varejo na temporada de festas, contra uma média anual de 22,7%.
- O pior dia para bots nem sempre é o mais famoso. A amostra de varejo da Queue-it viu o tráfego não humano chegar a 83% das visitas em 11 de dezembro de 2024, não na Black Friday.
- Congelamentos de mudanças são prática documentada em torno da temporada de pico e do fim do ano, então as defesas tendem a mudar antes e depois, não durante.
Por que um calendário moveria as taxas de bloqueio
Um site decidindo se deve desafiar ou bloquear uma requisição está, na maioria das configurações modernas, fazendo um julgamento em relação ao seu tráfego atual. Três coisas no calendário mudam esse julgamento:
- A composição do tráfego. Quando os humanos saem, o tráfego automatizado que resta é uma proporção maior do total, e a proporção é frequentemente o que alarma os defensores e os modelos.
- O que está em jogo. Em um dia de promoção ou de lançamento de ingressos, um site se importa muito mais com cambistas, credential stuffing e acúmulo de estoque, e tolera mais fricção para impedi-los.
- As pessoas. As regras são escritas e ajustadas por equipes que tiram férias e congelam mudanças nos momentos que mais importam.
Cada um desses pontos tem evidências por trás.
Fins de semana: os humanos saem, os bots em geral não
O tráfego humano na internet tem um forte ritmo semanal. Uma análise do Data Science Campus do UK Office for National Statistics sobre o tráfego no London Internet Exchange constatou que “fins de semana tendem a ter tráfego menor, com os dias no meio da semana exibindo as maiores quantidades”, com o tráfego em torno de feriados bancários cerca de 7,8% menor em média, e o período de Natal ainda mais baixo.
O tráfego automatizado é mais estável. A análise da Cloudflare de janeiro a julho de 2020 constatou que, embora um dia útil típico fique ligeiramente acima da média, os fins de semana mostram “uma queda de cerca de 4% no tráfego geral”, um padrão que “não se aplica totalmente a bots verificados, que veem apenas uma pequena queda de 1%”. A mesma análise constatou que o tráfego humano é cerca de 15% menor entre meia-noite e 05:00 UTC e até 25% maior entre 14:00 e 17:00 UTC.
Se o tráfego automatizado de um site se mantém estável enquanto seu tráfego humano cai, a proporção automatizada sobe, e também sobe a chance de qualquer requisição automatizada específica parecer incomum. Esse é o mecanismo mais plausível por trás de taxas de bloqueio piores em fins de semana e durante a madrugada, e é por isso que um crawling constante, sem cronograma, pode se destacar mais em um domingo do que em uma terça-feira.
Há um contraexemplo importante. A Integral Ad Science, medindo tráfego de bots em impressões de anúncios ao longo de 391 dias, encontrou o padrão oposto para os bots que rastreia: tráfego de bots em dias úteis cerca de 21,2% maior do que nos fins de semana, contra apenas 6,9% para humanos. Nem toda automação é constante. Operações de fraude que imitam cronogramas humanos se comportam de forma diferente de crawlers, e as defesas de um site veem tudo isso ao mesmo tempo. O efeito semanal na sua própria taxa de bloqueio é uma questão empírica, específica para cada alvo.
Eventos de pico: mais bots, mais fricção
O calendário de compras concentra os dois lados do problema.
| Achado | Fonte |
|---|---|
| Bots ruins foram 26,3% do tráfego de varejo na temporada de festas de 2023, contra uma média anual de 22,7%; ataques de account takeover subiram 85% na Black Friday | Imperva, novembro de 2023 |
| Na Black Friday de 2024, bots foram até 19% do tráfego de e-commerce e humanos 81%; bots fizeram 63% das tentativas de login, ligeiramente abaixo de um mês antes, à medida que os logins humanos aumentaram | Cloudflare, dezembro de 2024 |
| Ao longo do Cyber Five de 2025, 28% das requisições vieram de um bot ou de um data center, abaixo dos 36% em 2024; 97% dos visitantes suspeitos aos quais foi apresentado um desafio falharam nele | Queue-it, 138 varejistas, dezembro de 2025 |
| Ao longo da temporada de 2024, 46% das visitas foram marcadas como tráfego de bot ou de data center; o pior dia foi 11 de dezembro, com 83% | Queue-it, dezembro de 2024 |
| Varejistas na amostra de 2025 implantaram 787 salas de espera, ativadas mais de 2.000 vezes ao longo da temporada | Queue-it, dezembro de 2025 |
Dois detalhes merecem destaque. Primeiro, os números da Cloudflare mostram que, no maior dia, o crescimento humano pode na verdade diluir a proporção de bots, porque os humanos chegam em números muito maiores. Um dia de pico não é necessariamente o dia em que sua proporção automatizada parece pior. Segundo, os números da Queue-it mostram que o pior dia para tráfego não humano cai em meados de dezembro, não na Black Friday. Sites que reforçam as defesas para um evento conhecido podem mantê-las reforçadas por semanas.
A consequência prática é que qualquer crawler direcionado a varejo, venda de ingressos ou viagens deve esperar mais desafios, mais salas de espera e menor tolerância de meados de novembro até dezembro, independentemente do seu próprio comportamento.
Feriados: mais tranquilos, e às vezes mais calmos
Os feriados cortam nos dois sentidos. O tráfego humano cai: a Cloudflare mediu o tráfego dos EUA no Thanksgiving de 2023 cerca de 10% menor do que na semana anterior. Aparentemente, o mesmo acontece com parte do tráfego de ataques. A mesma análise constatou que o Thanksgiving teve “a menor porcentagem de tráfego classificado como ataques DDoS direcionados aos EUA” naquele mês.
Para um crawler, um feriado nacional no país de um alvo combina menor tráfego humano, o que eleva a proporção automatizada, com uma equipe reduzida do lado da defesa. O efeito líquido na sua taxa de bloqueio depende do alvo. O que é consistente é que os feriados são locais. Uma terça-feira em um país é feriado em outro, o que é mais uma razão para medir por alvo e por mercado, em vez de globalmente.
Congelamentos de mudanças: quando as defesas param de se mover
As regras mudam quando as pessoas as mudam, e as pessoas congelam mudanças em momentos previsíveis. Isso é prática documentada, não folclore.
- A Shopify Engineering descreveu um congelamento de funcionalidades que “começa várias semanas antes da BFCM”, e um congelamento de código alguns dias antes e durante o evento, no qual “apenas correções críticas podem ser implantadas”.
- A GitLab define um bloqueio de mudanças em produção como “uma pausa completa em todas as mudanças de produção durante períodos de disponibilidade reduzida da equipe, como feriados importantes”.
- As regras gerenciadas do WAF da Cloudflare seguem “um ciclo de lançamento de sete dias, tipicamente na segunda ou terça-feira (ajustado para feriados nacionais)”.
Os congelamentos tornam a temporada de pico curiosamente estável assim que ela começa: as defesas são reforçadas nas semanas anteriores, e depois em grande parte deixadas de lado. Eles também transformam janeiro em uma temporada de mudanças. Regras adiadas durante os feriados são lançadas quando as equipes retornam, o que é quando um crawler que funcionou o mês inteiro de dezembro pode quebrar sem nenhuma mudança do seu lado.
Meça o seu próprio calendário
Como nenhum conjunto de dados público responde à pergunta para os seus alvos, a única resposta confiável são os seus próprios logs. O método é simples: calcule a taxa de bloqueio por alvo, por dia da semana e hora, no fuso horário local do alvo, e compare cada intervalo com a taxa geral desse alvo.
from collections import defaultdict
from datetime import datetime
def block_rate_by_slot(rows, tz=None, min_requests=50):
"""rows: (target, iso_timestamp, blocked). Block rate per target, weekday and hour."""
counts = defaultdict(lambda: [0, 0])
for target, ts, blocked in rows:
t = datetime.fromisoformat(ts)
if tz is not None:
t = t.astimezone(tz)
slot = (target, t.strftime("%a"), t.hour)
counts[slot][0] += 1
counts[slot][1] += int(blocked)
return {
slot: round(b / n, 3)
for slot, (n, b) in counts.items()
if n >= min_requests
}Conte bloqueios brandos como bloqueios, não apenas códigos de erro, já que uma página de desafio servida com um status de sucesso ainda é uma recusa; a taxa de falha silenciosa explica como detectá-los. Mantenha pelo menos algumas semanas de histórico antes de tirar conclusões, e marque eventos conhecidos e feriados locais para que uma Black Friday ruim não se torne o seu modelo de toda sexta-feira.
Agendamento em torno disso
Uma vez que você conhece os calendários dos seus alvos, alguns ajustes seguem naturalmente.
- Baseline por dia da semana, não por dia. Um health score que compara sábado com uma média de dias úteis vai dar falso alarme todo fim de semana. Compare o que é comparável, como descrito em building a target health score.
- Mova trabalho flexível para bons intervalos. Atualizações que não precisam rodar em um dia específico podem ser deslocadas para as horas e dias em que um alvo é mais tolerante. Cost-aware crawl scheduling já pondera cada visita pelo custo; uma taxa de bloqueio esperada mais alta é um custo mais alto.
- Diminua o ritmo no pico de um alvo. Um varejista no seu maior dia de vendas está protegendo clientes reais sob carga real. Menor concorrência e intervalos mais longos durante eventos conhecidos são boas maneiras e bom senso, e backpressure deveria fazer isso automaticamente quando as taxas de bloqueio sobem.
- Fique atento a janeiro. Espere que as defesas mudem à medida que os congelamentos são suspensos, e mantenha canários rodando para perceber isso em horas, não semanas.
- Colete a partir do próprio fuso horário e ponto de vista do mercado. Feriados e ritmos diários são locais, assim como o que um site serve. Uma saída residencial direcionada por país, como
country-deno gateway da Shifter, permite que um crawler veja um site alemão como um visitante alemão o veria em um feriado alemão.
Conclusão
As taxas de bloqueio se movem com o calendário por razões compreensíveis: o tráfego automatizado é mais estável do que o tráfego humano, então sua proporção sobe quando as pessoas se desconectam; eventos de pico trazem mais bots e defesas mais pesadas por semanas ao redor deles; e as equipes por trás dessas defesas congelam mudanças durante os períodos mais movimentados e as retomam depois. Nada disso foi medido diretamente para scrapers em nenhum conjunto de dados público, e a evidência não é uniforme: parte do tráfego de bots segue de perto os cronogramas humanos.
Isso torna o calendário uma questão que cada equipe precisa responder a partir de seus próprios dados. Divida sua taxa de bloqueio por alvo, dia da semana e hora, marque os feriados e eventos de vendas, e planeje o agendamento de acordo. O padrão que você encontrar será específico para os seus alvos, e muito mais útil do que qualquer média global.
Fontes e referências
- Gundelach, Mühlhauser e Herrmann, Detecting Bot Detection, arXiv, 12 de junho de 2026. Varreduras de 27 de fevereiro a 2 de março de 2026.
- Cloudflare, Bot Attack trends for Jan-Jul 2020, 20 de outubro de 2020.
- Phil Stubbings, ONS Data Science Campus, Detecting collective human behaviour in internet traffic volume data, 18 de julho de 2019.
- Integral Ad Science, How Does Bot Traffic Vary Over Time?, 18 de dezembro de 2023.
- Imperva, Five Observations from 2023 Black Friday and Cyber Monday, novembro de 2023.
- Adam Martinetti, Cloudflare, Grinch Bots strike again, 23 de dezembro de 2024.
- Queue-it, 2025 Holiday Shopping Stats, 24 de dezembro de 2025, e 2024 Holiday Shopping Stats, 24 de dezembro de 2024.
- João Tomé, Cloudflare, Do hackers eat turkey?, 24 de novembro de 2023.
- Camilo Lopez, Shopify Engineering, Preparing Shopify for Black Friday and Cyber Monday, 21 de dezembro de 2018.
- GitLab, Dedicated maintenance. Bloqueios de mudanças em produção.
- Cloudflare, WAF changelog. Ciclo de lançamento de regras gerenciadas.