A maior parte dos dados da web é sobre o presente: os preços de hoje, os rankings de hoje, as páginas de hoje. Mas muitas perguntas exigem o passado. Como a página de preços de um concorrente mudou ao longo de três anos? Quando uma página de políticas adicionou uma cláusula? Qual era a aparência de um site antes de um redesign? Para equipes que coletam dados da web, os arquivos da web são muitas vezes o único lugar onde essas respostas ainda existem.
O maior deles é o Wayback Machine do Internet Archive. Este guia cobre o que ele armazena, como consultá-lo, onde seus dados ficam aquém e por que o acesso está ficando mais difícil.
O que o Wayback Machine armazena
Em 22 de outubro de 2025, o Internet Archive celebrou “1 trilhão de páginas web preservadas”, disponíveis através do Wayback Machine. Uma apresentação de 2026 de sua equipe de infraestrutura indicou um ritmo atual de cerca de 800 milhões de páginas capturadas por dia, com mais de 210 petabytes de dados únicos em todas as coleções do Archive.
Dois pontos sobre esse número. Primeiro, uma “página” aqui é uma captura, então uma URL popular pode aparecer milhares de vezes. Segundo, o Archive não publica quantas URLs únicas ele possui, então o trilhão diz mais sobre a profundidade em algumas páginas do que sobre a amplitude na web.
Em contraste, o crawl de agosto de 2026 do Common Crawl continha 2,14 bilhões de páginas, e está disponível abertamente para download em massa. Os dois respondem a perguntas diferentes: o Common Crawl é uma amostra ampla mensal, e o Wayback Machine é um histórico longo de URLs específicas. Nosso guia sobre Common Crawl aborda quando esse tipo de conjunto de dados é suficiente.
Como consultá-lo
O Wayback Machine tem duas interfaces documentadas para acesso programático.
| Interface | O que retorna | Boa para |
|---|---|---|
| CDX Server API | Uma linha por captura: chave de URL, timestamp, URL original, tipo MIME, código de status, digest de conteúdo, tamanho | Listar e filtrar capturas |
| Availability API | A única captura mais próxima de uma data | Verificar uma URL em um momento específico |
A API CDX faz a maior parte do trabalho. Ela pode filtrar por código de status ou tipo MIME, colapsar duplicatas adjacentes e paginar através de resultados grandes; sua documentação recomenda paginação para consultas em massa. O truque que economiza mais esforço é colapsar pelo digest de conteúdo, para que você veja apenas as capturas em que a página realmente mudou.
import time
import requests
UA = "research-pipeline/1.0 (data-team@example.com)"
def captures(url, start="2020", end="2026"):
params = {
"url": url,
"output": "json",
"fl": "timestamp,original,statuscode,digest",
"filter": "statuscode:200",
"collapse": "digest", # keep only captures where the content changed
"from": start,
"to": end,
}
r = requests.get("https://web.archive.org/cdx/search/cdx",
params=params, headers={"User-Agent": UA}, timeout=60)
r.raise_for_status()
rows = r.json()
return [dict(zip(rows[0], row)) for row in rows[1:]]
def fetch(capture):
# id_ returns the archived bytes without the Wayback banner or rewritten links
url = f"https://web.archive.org/web/{capture['timestamp']}id_/{capture['original']}"
time.sleep(5) # one request at a time, with a pause
return requests.get(url, headers={"User-Agent": UA}, timeout=60)
for c in captures("example.com/pricing"):
print(c["timestamp"], c["digest"])Comece pela lista CDX, decida quais capturas você realmente precisa e busque apenas essas. Uma lista de 2.000 capturas frequentemente se reduz a algumas dezenas de versões distintas.
Onde a cobertura fica aquém
Um arquivo só contém o que foi capturado, e a captura é desigual.
- Nem tudo é arquivado. Um estudo de URLs extraídas de várias fontes estimou que entre 35% e 90% da web tinha pelo menos uma cópia arquivada, dependendo da amostra, e que no máximo 31,3% das URLs foram arquivadas mais de uma vez por mês.
- A web continua desaparecendo. O Pew Research descobriu em 2024 que 38% das páginas que existiam em 2013 não estavam mais acessíveis na web ao vivo. Para muitas delas, uma cópia de arquivo é tudo o que resta, se houver uma.
- A cobertura varia por país. Pesquisas há muito tempo constatam que a cobertura de arquivos difere por país e idioma, e arquivos nacionais da web costumam cobrir melhor seus próprios domínios.
- O JavaScript esconde conteúdo. Um estudo de páginas arquivadas constatou que o JavaScript foi responsável por 52,7% dos recursos incorporados ausentes. Aplicativos de página única, preços carregados por script e conteúdo atrás de paredes de consentimento costumam estar ausentes ou vazios.
Portanto, a ausência no arquivo não é prova de que algo nunca existiu. Trate a cobertura do arquivo como uma amostra, e registre as lacunas de amostragem junto com os dados.
Onde a qualidade fica aquém
Mesmo uma captura que existe pode não mostrar o que um visitante viu.
Deriva temporal dentro de uma página. O HTML, as imagens, os scripts e as folhas de estilo de uma página são frequentemente capturados em momentos diferentes. Um estudo de 82.425 páginas arquivadas em 15 arquivos constatou que apenas 38,7% eram consistentes no tempo, e apenas cerca de uma em cada cinco, 17,9%, era ao mesmo tempo consistente e completa.
Capturas fora do tópico. O histórico de uma URL pode incluir domínios estacionados, páginas de erro e conteúdo sequestrado. Um estudo encontrou páginas fora do tópico em 24% dos históricos de captura que amostrou.
Erros silenciosos. Uma captura com status 200 ainda pode ser uma página de bloqueio, uma parede de consentimento ou um soft 404. As mesmas verificações que recomendamos para falhas silenciosas em scraping ao vivo se aplicam aqui: valide o conteúdo, não apenas o código de status.
Para análise, isso significa comparar texto e campos estruturados entre versões, não capturas de tela, e manter o timestamp da captura junto a cada valor extraído. Nosso guia sobre detecção de mudanças aborda como comparar versões sem se afogar em ruído.
Por que o acesso está ficando mais difícil
Duas pressões estão restringindo o que os arquivos podem oferecer.
Sites estão mantendo o arquivo afastado. Em agosto de 2025, o Reddit começou a limitar o acesso do Wayback Machine, afirmando que empresas de IA haviam coletado seus dados através do arquivo. Até janeiro de 2026, o Nieman Lab constatou que 241 de 1.167 sites de notícias em nove países bloqueavam pelo menos um dos crawlers do Internet Archive. O New York Times declarou: “We are blocking the Internet Archive’s bot from accessing the Times.” O próprio FAQ do Archive observa que os editores não conseguiram apontar uma empresa de IA específica fazendo scraping através dele, mas as lacunas na cobertura são reais de qualquer forma.
O Archive está se defendendo. Em setembro de 2026, o Internet Archive disse que o Wayback Machine havia sido “hit by waves of high-volume automated traffic”, que havia implementado proteções, e que requisições bloqueadas recebem um erro 429. Seu FAQ diz: “We use rate limiting, filtering, and monitoring to prevent abusive access,” e “The Wayback Machine is built for human readers.”
O Archive é uma biblioteca sem fins lucrativos, e já foi tirado do ar antes por tráfego em massa. Os usuários pesados são a razão pela qual as proteções existem.
Como usar arquivos bem
- Consulte o índice, não as páginas. Use a API CDX para encontrar as capturas de que você precisa, colapse pelo digest e busque o mínimo.
- Vá devagar e se identifique. Uma requisição por vez, com pausas, e um User-Agent descritivo. Para projetos grandes, entre em contato com o Archive primeiro.
- Verifique outros arquivos. Bibliotecas nacionais e outros arquivos, acessíveis através do padrão Memento, podem preencher lacunas.
- Registre a proveniência. Mantenha o timestamp da captura, a URL original e o digest junto a cada valor, como descreve nosso guia sobre proveniência no pipeline de treinamento de IA.
- Relate as lacunas. Informe quantas URLs não tinham capturas, ou nenhuma utilizável, para que os leitores possam avaliar o resultado.
Onde os proxies se encaixam, e onde não se encaixam
Não use proxies para contornar os limites do Wayback Machine. É uma biblioteca com uma missão pública, suas proteções existem por causa do tráfego automatizado em massa, e rotacionar IPs para evitar um 429 é exatamente o comportamento contra o qual ela está se defendendo. Se o seu projeto precisa de mais do que o acesso cortês permite, peça ao Archive.
Proxies residenciais servem para outra finalidade: coletar a web ao vivo como visitantes locais a veem hoje. Muitos conjuntos de dados históricos começam ali. Se você capturar agora as páginas que importam, dos mercados que importam, não dependerá do arquivo de outra pessoa mais tarde.
Conclusão
O Wayback Machine é o registro mais profundo do passado da web, e a API CDX torna seu uso prático. Mas sua cobertura é uma amostra, suas capturas podem misturar momentos no tempo, e mais sites estão mantendo-o afastado. Consulte o índice, busque pouco, valide o que você obtém, registre de onde veio cada valor, e trate o arquivo como o recurso público compartilhado que ele é.
Fontes e referências
- Internet Archive, one trillion web pages archived (22 October 2025): blog.archive.org
- Jonah Edwards, Internet Archive materials update, Designing Storage Architectures meeting (2026): digitalpreservation.gov
- Wayback CDX Server API documentation: github.com
- Wayback Machine APIs: archive.org
- RFC 7089, HTTP Framework for Time-Based Access to Resource States (Memento): rfc-editor.org
- Common Crawl, August 2026 crawl archive: commoncrawl.org
- Ainsworth et al., How much of the web is archived?: arxiv.org
- Pew Research Center, When online content disappears (17 May 2024): pewresearch.org
- AlSum et al., profiling web archive coverage: arxiv.org
- Brunelle et al., the impact of JavaScript on archivability (2016): doi.org
- Ainsworth, Nelson and Van de Sompel, temporal coherence of archived pages (2015): ws-dl.blogspot.com
- AlNoamany, Weigle and Nelson, detecting off-topic pages in web archives (2016): doi.org
- Nieman Lab, News publishers limit Internet Archive access (28 January 2026): niemanlab.org
- Engadget, Reddit restricts the Wayback Machine (August 2025): engadget.com
- Internet Archive, An update on Wayback Machine access (15 September 2026): blog.archive.org
- Internet Archive, FAQ on publishers blocking the Wayback Machine: help.archive.org