Para mucho del trabajo con datos web, el rastreo más barato es el que ya hizo otro. Common Crawl publica una gran parte de la web pública cada mes, de forma gratuita, y sustenta muchos de los conjuntos de datos de texto usados para entrenar modelos de IA. Pero se construyó para tener amplitud, no para cubrir tu lista particular de fuentes, y saber dónde se detiene ahorra semanas a los equipos.
Esta guía cubre qué contiene Common Crawl, qué no contiene, cómo comprobar si cubre las páginas que necesitas y cuándo merece la pena ejecutar tu propio rastreo.
Lo que obtienes
Common Crawl es una organización sin ánimo de lucro de EE. UU. que describe su objetivo como proporcionar una copia de internet a investigadores, empresas y particulares sin coste alguno. Los datos de su último rastreo, CC-MAIN-2026-43, capturado entre el 5 y el 18 de octubre de 2026:
| Páginas | 2160 millones |
| Dominios registrados | 34,3 millones |
| Hosts | 41,4 millones |
| URLs no vistas en ningún rastreo anterior | 830,1 millones |
| Contenido sin comprimir | 371,19 TiB |
| Frecuencia | Aproximadamente un rastreo al mes |
| Formatos | WARC (respuestas en bruto), WAT (metadatos), WET (texto plano) |
| Acceso | Bucket público de AWS en us-east-1, descargas por HTTPS, índices de URL |
La combinación de idiomas es amplia pero desigual: el inglés representó el 42,6% de las páginas HTML detectadas en ese rastreo, seguido del ruso con 6,3% y el alemán con 5,8%.
Lo que deja fuera
Estos límites provienen de la propia documentación de Common Crawl y determinan la mayoría de las decisiones de construir o reutilizar.
- Es una muestra. Common Crawl dice que, por lo general, no archiva un sitio web entero sino “un subconjunto seleccionado aleatoriamente de él”. No esperes que esté cada página de producto o cada artículo.
- Sin JavaScript. Sus preguntas frecuentes indican que no se ejecuta JavaScript ni se usan cookies, por lo que falta el contenido que solo aparece después de que se ejecutan scripts.
- Sin inicios de sesión ni muros de pago. Declara que no accede detrás de muros de pago ni inicia sesión en ningún sitio web.
- Respeta las negativas. CCBot comprueba primero robots.txt y obedece crawl-delay. En el rastreo de octubre, el 4,85% de las solicitudes fueron denegadas por robots.txt o un 403, y el 18,47% se omitieron. Nuestro análisis sobre qué parte de la web está detrás de un muro de bots pone esa cifra en contexto.
- Un solo punto de vista. Rastrea desde un conjunto pequeño y publicado de direcciones, así que obtienes una sola vista de cada página. Las páginas que difieren según el país, el idioma o el dispositivo aparecen en una sola versión.
- Es una instantánea. Una página aparece tal como estaba en la fecha de captura, que puede tener semanas de antigüedad.
Comprueba la cobertura antes de decidir
La prueba más rápida es preguntar al índice si tus fuentes están ahí. El siguiente script encuentra el rastreo más reciente y solicita capturas de un patrón de URL. Envía una solicitud a la vez desde tu propia conexión, tal como pide Common Crawl; para búsquedas masivas, usa en su lugar el índice de URL en Parquet en AWS. Funciona en Python 3.9 y versiones posteriores con requests.
from __future__ import annotations
import json
import requests
INDEX = "https://index.commoncrawl.org"
HEADERS = {"User-Agent": "coverage-check/1.0 (contact: data-team@example.com)"}
def latest_crawl():
"""The newest crawl ID, from Common Crawl's own list."""
return requests.get(f"{INDEX}/collinfo.json", headers=HEADERS, timeout=60).json()[0]["id"]
def captures(crawl, url_pattern, limit=1000):
"""Captures of matching URLs in one crawl. One request, no proxies: the index asks for that."""
r = requests.get(f"{INDEX}/{crawl}-index", headers=HEADERS, timeout=120,
params={"url": url_pattern, "output": "json", "limit": limit})
if r.status_code == 404: # no captures at all
return []
r.raise_for_status()
return [json.loads(line) for line in r.text.splitlines()]
if __name__ == "__main__":
crawl = latest_crawl()
rows = captures(crawl, "en.wikipedia.org/wiki/*")
statuses = {}
for row in rows:
statuses[row["status"]] = statuses.get(row["status"], 0) + 1
print(crawl, "captures returned:", len(rows), "by status:", dict(sorted(statuses.items())))
print("first:", rows[0]["url"], rows[0]["timestamp"]) if rows else print("none")Resultado del 6 de noviembre de 2026, para un patrón en la Wikipedia en inglés, limitado a 1000 resultados:
CC-MAIN-2026-43 captures returned: 1000 by status: {'200': 949, '301': 15, '404': 30, '429': 6}
first: https://en.wikipedia.org/wiki/!!! 20261017084408Se aprecian dos cosas de inmediato. La cobertura de un sitio grande es real pero parcial, así que cuenta lo que obtienes para tus propios patrones. Y las capturas llevan el estado que recibió Common Crawl: aquí 30 fueron 404 y 6 fueron 429, así que una captura no siempre es contenido. Filtra por estado antes de usar nada.
Cuándo el rastreo gratuito es suficiente
- Entrenamiento e investigación sobre texto amplio. El modelado de lenguaje, los clasificadores y las estadísticas a escala web necesitan amplitud más que una página concreta. Esto es lo que Common Crawl hace mejor, y nuestra guía sobre construir conjuntos de datos de entrenamiento a partir de la web abierta cubre el filtrado y la deduplicación que todavía necesita.
- Descubrimiento. Encontrar qué dominios mencionan un tema, mapear enlaces o estimar el tamaño de un sitio resulta barato con el índice de URL.
- Comparaciones históricas. Las instantáneas mensuales de años atrás son difíciles de recrear por tu cuenta.
Cuándo necesitas tu propio rastreo
- Necesitas páginas específicas, por completo. Una muestra se perderá algunas de ellas, y no sabrás cuáles.
- Lo necesitas actualizado. Los precios, el stock y los rankings cambian a diario. Una instantánea mensual es historia.
- El contenido necesita JavaScript. Muchas páginas modernas solo renderizan sus datos en el navegador.
- Necesitas una vista local. Los precios, los resultados de búsqueda y los anuncios difieren según el país. Un rastreo desde un solo punto de vista te da una sola respuesta. Recoger cada mercado tal como lo ven sus visitantes es para lo que sirven los proxies residenciales.
- Necesitas demostrar de dónde vino. Un rastreo que ejecutas tú mismo te permite registrar exactamente cómo, cuándo y desde dónde se obtuvo cada página.
Muchos equipos combinan ambos: Common Crawl para amplitud y descubrimiento, su propio rastreador para las fuentes que más importan.
Términos que vale la pena leer
Common Crawl mantiene sus propios términos ligeros, pero importan. Sus términos de uso dicen que el contenido rastreado puede estar sujeto a los términos de los sitios de los que procede, que los usuarios aceptan respetar los derechos de autor y otros derechos, y recomiendan asesoría legal antes de un uso comercial. El usuario también asume la responsabilidad por reclamaciones derivadas del uso del contenido para desarrollar, entrenar o desplegar sistemas de IA. Desde 2025, Common Crawl también publica un registro de solicitudes legales de exclusión y elimina las URLs afectadas de rastreos posteriores y de sus herramientas. Reutilizar los datos no te saca de estas cuestiones, así que mantén un registro de lo que usaste.
En resumen
Common Crawl es el punto de partida correcto cuando necesitas amplitud, historia o una primera mirada barata. Deja de ser suficiente cuando necesitas páginas concretas, datos actualizados, contenido con JavaScript o una vista local. Comprueba primero tu cobertura con el índice, filtra las capturas por estado, lee los términos y rastrea por tu cuenta solo donde la muestra gratuita se quede corta.
Fuentes y referencias
- Common Crawl, FAQ: commoncrawl.org/faq
- Common Crawl, archivo del rastreo de octubre de 2026: commoncrawl.org
- Common Crawl, Términos de uso (última actualización el 7 de marzo de 2024): commoncrawl.org/terms-of-use
- Common Crawl, Cómo empezar: commoncrawl.org/get-started
- Common Crawl, índice de URL: commoncrawl.org/url-index
- Estadísticas de Common Crawl, tamaño del rastreo, idiomas y métricas del rastreador: commoncrawl.github.io
- Common Crawl, Registro de exclusión (17 de septiembre de 2025): commoncrawl.org
- Common Crawl, Dejando las cosas claras (4 de noviembre de 2025): commoncrawl.org