La mayoría de los datos web tratan sobre el presente: los precios de hoy, las clasificaciones de hoy, las páginas de hoy. Pero muchas preguntas requieren el pasado. ¿Cómo ha cambiado la página de precios de un competidor a lo largo de tres años? ¿Cuándo añadió una página de políticas una cláusula? ¿Cómo era un sitio antes de un rediseño? Para los equipos que recopilan datos web, los archivos web suelen ser el único lugar donde esas respuestas todavía existen.
El más grande es la Wayback Machine del Internet Archive. Esta guía cubre qué contiene, cómo consultarlo, dónde fallan sus datos y por qué el acceso se está volviendo más difícil.
Qué contiene la Wayback Machine
El 22 de octubre de 2025, el Internet Archive celebró “1 billón de páginas web preservadas”, disponibles a través de la Wayback Machine. Una presentación de 2026 de su equipo de infraestructura situó el ritmo actual en unas 800 millones de páginas capturadas al día, con más de 210 petabytes de datos únicos en todas las colecciones del Archive.
Dos puntualizaciones sobre esa cifra. Primero, una “página” aquí es una captura, así que una URL popular puede aparecer miles de veces. Segundo, el Archive no publica cuántas URL únicas contiene, así que el billón dice más sobre la profundidad en algunas páginas que sobre la amplitud en toda la web.
Como contraste, el rastreo de agosto de 2026 de Common Crawl contenía 2,14 mil millones de páginas, y se puede descargar abiertamente en bloque. Los dos responden preguntas distintas: Common Crawl es una muestra amplia mensual, y la Wayback Machine es un historial largo de URL específicas. Nuestra guía sobre Common Crawl cubre cuándo ese tipo de conjunto de datos es suficiente.
Cómo consultarla
La Wayback Machine tiene dos interfaces documentadas para el acceso programático.
| Interfaz | Qué devuelve | Útil para |
|---|---|---|
| CDX Server API | Una línea por captura: clave de URL, marca temporal, URL original, tipo MIME, código de estado, hash del contenido, longitud | Listar y filtrar capturas |
| Availability API | La única captura más cercana a una fecha | Comprobar una URL en un momento concreto |
La API CDX hace la mayor parte del trabajo. Puede filtrar por código de estado o tipo MIME, colapsar duplicados adyacentes y paginar resultados grandes; su documentación recomienda la paginación para consultas masivas. El truco que más esfuerzo ahorra es colapsar por el hash del contenido, de modo que solo se vean las capturas donde la página realmente cambió.
import time
import requests
UA = "research-pipeline/1.0 (data-team@example.com)"
def captures(url, start="2020", end="2026"):
params = {
"url": url,
"output": "json",
"fl": "timestamp,original,statuscode,digest",
"filter": "statuscode:200",
"collapse": "digest", # keep only captures where the content changed
"from": start,
"to": end,
}
r = requests.get("https://web.archive.org/cdx/search/cdx",
params=params, headers={"User-Agent": UA}, timeout=60)
r.raise_for_status()
rows = r.json()
return [dict(zip(rows[0], row)) for row in rows[1:]]
def fetch(capture):
# id_ returns the archived bytes without the Wayback banner or rewritten links
url = f"https://web.archive.org/web/{capture['timestamp']}id_/{capture['original']}"
time.sleep(5) # one request at a time, with a pause
return requests.get(url, headers={"User-Agent": UA}, timeout=60)
for c in captures("example.com/pricing"):
print(c["timestamp"], c["digest"])Empiece por la lista CDX, decida qué capturas necesita realmente y obtenga solo esas. Una lista de 2.000 capturas a menudo se reduce a unas pocas docenas de versiones distintas.
Dónde falla la cobertura
Un archivo solo contiene lo que capturó, y la captura es desigual.
- No todo está archivado. Un estudio de URL extraídas de varias fuentes estimó que entre el 35% y el 90% de la web tenía al menos una copia archivada, dependiendo de la muestra, y que no más del 31,3% de las URL se archivaba más de una vez al mes.
- La web sigue desapareciendo. Pew Research descubrió en 2024 que el 38% de las páginas que existían en 2013 ya no eran accesibles en la web viva. Para muchas de ellas, una copia en el archivo es todo lo que queda, si es que existe alguna.
- La cobertura varía según el país. Las investigaciones han encontrado desde hace tiempo que la cobertura de los archivos difiere según el país y el idioma, y los archivos web nacionales a menudo cubren mejor sus propios dominios.
- JavaScript oculta contenido. Un estudio de páginas archivadas encontró que JavaScript era responsable del 52,7% de los recursos incrustados faltantes. Las aplicaciones de una sola página, los precios cargados por script y el contenido detrás de muros de consentimiento a menudo faltan o aparecen vacíos.
Así que la ausencia en el archivo no es prueba de que algo nunca existió. Trate la cobertura del archivo como una muestra, y registre las lagunas de muestreo junto con los datos.
Dónde falla la calidad
Incluso una captura que existe puede no mostrar lo que vio un visitante.
Desfase temporal dentro de una misma página. El HTML, las imágenes, los scripts y las hojas de estilo de una página a menudo se capturan en momentos distintos. Un estudio de 82.425 páginas archivadas en 15 archivos encontró que solo el 38,7% eran coherentes en el tiempo, y solo alrededor de una de cada cinco, el 17,9%, era a la vez coherente y completa.
Capturas fuera de tema. El historial de una URL puede incluir dominios abandonados, páginas de error y contenido secuestrado. Un estudio encontró páginas fuera de tema en el 24% de los historiales de captura que muestreó.
Errores silenciosos. Una captura con estado 200 puede seguir siendo una página de bloqueo, un muro de consentimiento o un 404 encubierto. Las mismas comprobaciones que recomendamos para los fallos silenciosos en el scraping en vivo se aplican aquí: valide el contenido, no solo el código de estado.
Para el análisis, eso significa comparar texto y campos estructurados entre versiones, no capturas de pantalla, y conservar la marca temporal de la captura junto con cada valor extraído. Nuestra guía sobre detección de cambios cubre cómo comparar versiones sin ahogarse en ruido.
Por qué el acceso se está volviendo más difícil
Dos presiones están reduciendo lo que los archivos pueden ofrecer.
Los sitios mantienen al archivo fuera. En agosto de 2025, Reddit comenzó a limitar el acceso de la Wayback Machine, alegando que empresas de IA habían extraído sus datos a través del archivo. Para enero de 2026, Nieman Lab descubrió que 241 de 1.167 sitios de noticias en nueve países prohibían al menos uno de los rastreadores del Internet Archive. The New York Times declaró: “Estamos bloqueando el acceso del bot del Internet Archive a The Times”. Las propias preguntas frecuentes del Archive señalan que los editores no pudieron señalar a una empresa de IA concreta que hiciera scraping a través de él, pero las lagunas en la cobertura son reales de todos modos.
El Archive se defiende. En septiembre de 2026, el Internet Archive dijo que la Wayback Machine había sido “golpeada por oleadas de tráfico automatizado de alto volumen”, que había implementado protecciones, y que las solicitudes bloqueadas reciben un error 429. Sus preguntas frecuentes dicen: “Usamos limitación de velocidad, filtrado y monitorización para prevenir el acceso abusivo”, y “La Wayback Machine está construida para lectores humanos”.
El Archive es una biblioteca sin ánimo de lucro, y ya ha sido puesta fuera de línea anteriormente por tráfico masivo. Los usuarios intensivos son la razón por la que existen las protecciones.
Cómo usar bien los archivos
- Consulte el índice, no las páginas. Use la API CDX para encontrar las capturas que necesita, colapse por hash y obtenga el mínimo.
- Vaya despacio e identifíquese. Una solicitud a la vez, con pausas, y un User-Agent descriptivo. Para proyectos grandes, contacte primero con el Archive.
- Consulte otros archivos. Las bibliotecas nacionales y otros archivos, accesibles a través del estándar Memento, pueden llenar las lagunas.
- Registre la procedencia. Conserve la marca temporal de la captura, la URL original y el hash junto con cada valor, como describe nuestra guía sobre procedencia en el pipeline de entrenamiento de IA.
- Informe de las lagunas. Indique cuántas URL no tuvieron capturas, o ninguna utilizable, para que los lectores puedan juzgar el resultado.
Dónde encajan los proxies, y dónde no
No use proxies para sortear los límites de la Wayback Machine. Es una biblioteca con una misión pública, sus protecciones existen por el tráfico automatizado masivo, y rotar IP para evitar un 429 es exactamente el comportamiento contra el que se defiende. Si su proyecto necesita más de lo que permite un acceso respetuoso, pregunte al Archive.
Los proxies residenciales sirven para una tarea distinta: recopilar la web en vivo tal como la ven los visitantes locales hoy. Muchos conjuntos de datos históricos empiezan ahí. Si captura ahora las páginas que le importan, de los mercados que le importan, no dependerá del archivo de otro más adelante.
La conclusión
La Wayback Machine es el registro más profundo del pasado de la web, y la API CDX hace que sea práctico usarla. Pero su cobertura es una muestra, sus capturas pueden mezclar momentos en el tiempo, y cada vez más sitios la mantienen fuera. Consulte el índice, obtenga poco, valide lo que obtiene, registre de dónde vino cada valor, y trate el archivo como el recurso público compartido que es.
Fuentes y referencias
- Internet Archive, un billón de páginas web archivadas (22 de octubre de 2025): blog.archive.org
- Jonah Edwards, actualización de materiales del Internet Archive, reunión de Designing Storage Architectures (2026): digitalpreservation.gov
- Documentación de la API Wayback CDX Server: github.com
- API de la Wayback Machine: archive.org
- RFC 7089, HTTP Framework for Time-Based Access to Resource States (Memento): rfc-editor.org
- Common Crawl, archivo del rastreo de agosto de 2026: commoncrawl.org
- Ainsworth et al., How much of the web is archived?: arxiv.org
- Pew Research Center, When online content disappears (17 de mayo de 2024): pewresearch.org
- AlSum et al., profiling web archive coverage: arxiv.org
- Brunelle et al., the impact of JavaScript on archivability (2016): doi.org
- Ainsworth, Nelson y Van de Sompel, temporal coherence of archived pages (2015): ws-dl.blogspot.com
- AlNoamany, Weigle y Nelson, detecting off-topic pages in web archives (2016): doi.org
- Nieman Lab, News publishers limit Internet Archive access (28 de enero de 2026): niemanlab.org
- Engadget, Reddit restricts the Wayback Machine (agosto de 2025): engadget.com
- Internet Archive, An update on Wayback Machine access (15 de septiembre de 2026): blog.archive.org
- Internet Archive, FAQ on publishers blocking the Wayback Machine: help.archive.org