Common Crawl: 無料のクロールで十分な場合、自前が必要な場合

多くのウェブデータ作業において、最も安上がりなクロールとは、すでに他の誰かが実行したクロールである。Common Crawlは毎月、公開ウェブの大きな断片を無償で公開しており、AIモデルの学習に使われるテキストデータセットの多くを支えている。しかしこれは幅広さのために構築されたものであり、あなた固有の情報源リストのために作られたものではない。どこで限界に達するかを知ることで、チームは数週間を節約できる。

本ガイドでは、Common Crawlに含まれるもの、含まれないもの、必要なページがカバーされているかどうかの確認方法、そして独自にクロールを実行する価値がある場合について説明する。

得られるもの

Common Crawlは米国の非営利団体であり、その目標を、研究者、企業、個人に無償でインターネットのコピーを提供することと説明している。最新のクロールであるCC-MAIN-2026-43(2026年10月5日から18日にかけて取得)の事実は以下の通りである。

ページ数	21.6億
登録ドメイン数	3,430万
ホスト数	4,140万
それ以前のクロールで見られなかったURL	8億3,010万
非圧縮コンテンツ	371.19 TiB
頻度	月1回程度
フォーマット	WARC(生のレスポンス)、WAT(メタデータ)、WET(プレーンテキスト)
アクセス方法	us-east-1の公開AWSバケット、HTTPSダウンロード、URLインデックス

言語構成は幅広いが偏りがある。その回のクロールで検出されたHTMLページのうち、英語が42.6%を占め、ロシア語が6.3%、ドイツ語が5.8%で続く。

含まれないもの

これらの制限はCommon Crawl自身のドキュメントに由来するものであり、構築するか再利用するかの判断の大部分を左右する。

• サンプルである。 Common Crawlは、ウェブサイト全体をアーカイブするのではなく、一般に「無作為に選ばれたその一部」をアーカイブすると述べている。すべての商品ページやすべての記事が含まれていると期待してはならない。
• JavaScriptは実行されない。 そのFAQによれば、JavaScriptは実行されず、クッキーも使用されない。そのため、スクリプトの実行後にのみ表示されるコンテンツは欠落する。
• ログインやペイウォールは対象外。 ペイウォールの奥には入らず、どのウェブサイトにもログインしないと明記されている。
• 拒否を尊重する。 CCBotはまずrobots.txtを確認し、crawl-delayに従う。10月のクロールでは、フェッチの4.85%がrobots.txtまたは403によって拒否され、18.47%がスキップされた。ウェブのどれほどがボットウォールの背後にあるかに関する当社の分析が、この数字を文脈の中で位置づけている。
• 視点が一つだけ。 公開された少数の決まったアドレス群からクロールするため、各ページについて得られる視点は一つのみである。国、言語、デバイスによって異なるページは、一つのバージョンしか表示されない。
• スナップショットである。 ページは取得日時点の状態で表示され、それは数週間前のものである可能性がある。

決める前にカバレッジを確認する

最も手早い確認方法は、あなたの情報源がインデックスにあるかどうかを尋ねてみることである。以下のスクリプトは最新のクロールを見つけ、URLパターンに対するキャプチャを問い合わせる。Common Crawlが求めるとおり、自分の接続から一度に一つずつリクエストを送信する。大量のルックアップには、代わりにAWS上のParquet URLインデックスを使うこと。これはPython 3.9以降でrequestsを使って動作する。

from __future__ import annotations

import json

import requests

INDEX = "https://index.commoncrawl.org"
HEADERS = {"User-Agent": "coverage-check/1.0 (contact: data-team@example.com)"}


def latest_crawl():
    """The newest crawl ID, from Common Crawl's own list."""
    return requests.get(f"{INDEX}/collinfo.json", headers=HEADERS, timeout=60).json()[0]["id"]


def captures(crawl, url_pattern, limit=1000):
    """Captures of matching URLs in one crawl. One request, no proxies: the index asks for that."""
    r = requests.get(f"{INDEX}/{crawl}-index", headers=HEADERS, timeout=120,
                     params={"url": url_pattern, "output": "json", "limit": limit})
    if r.status_code == 404:  # no captures at all
        return []
    r.raise_for_status()
    return [json.loads(line) for line in r.text.splitlines()]


if __name__ == "__main__":
    crawl = latest_crawl()
    rows = captures(crawl, "en.wikipedia.org/wiki/*")
    statuses = {}
    for row in rows:
        statuses[row["status"]] = statuses.get(row["status"], 0) + 1
    print(crawl, "captures returned:", len(rows), "by status:", dict(sorted(statuses.items())))
    print("first:", rows[0]["url"], rows[0]["timestamp"]) if rows else print("none")

2026年11月6日の実行結果。英語版Wikipediaのパターンに対して、結果数は1,000件に制限している。

CC-MAIN-2026-43 captures returned: 1000 by status: {'200': 949, '301': 15, '404': 30, '429': 6}
first: https://en.wikipedia.org/wiki/!!! 20261017084408

ここから二つのことが同時に見えてくる。大規模サイトのカバレッジは実在するが部分的なものであり、自分自身のパターンについて得られる結果数を必ず数えるべきである。そしてキャプチャには、Common Crawlが受け取ったステータスが付随する。ここでは30件が404、6件が429であり、キャプチャが常にコンテンツを意味するわけではない。何かを使う前に、ステータスでフィルタリングすること。

無償のクロールで十分な場合

• 幅広いテキストに対する学習や研究。 言語モデリング、分類器、ウェブ規模の統計は、特定のページよりも幅広さを必要とする。これはCommon Crawlが最も得意とする分野であり、公開ウェブから学習データセットを構築するための当社ガイドは、それでもなお必要となるフィルタリングと重複排除について扱っている。
• 発見のための用途。 あるトピックに言及しているドメインを見つけたり、リンクをマッピングしたり、サイトの規模を推定したりすることは、URLインデックスを使えば安価にできる。
• 歴史的な比較。 何年にもわたる月次スナップショットを自分で再現するのは難しい。

独自のクロールが必要な場合

• 特定のページが、完全な形で必要な場合。 サンプルはその一部を見逃すが、どれを見逃しているかは分からない。
• 鮮度が必要な場合。 価格、在庫、ランキングは日々変化する。月次スナップショットは過去のものである。
• コンテンツにJavaScriptが必要な場合。 多くの現代的なページは、ブラウザ内でのみデータをレンダリングする。
• 地域ごとの視点が必要な場合。 価格、検索結果、広告は国によって異なる。一つの視点からのクロールでは、一つの答えしか得られない。各市場を訪問者の目に映る通りに収集するのが、レジデンシャルプロキシの役割である。
• 出所を証明する必要がある場合。 自分でクロールを実行すれば、各ページがどのように、いつ、どこから取得されたかを正確に記録できる。

多くのチームは両方を組み合わせている。幅広さと発見にはCommon Crawlを、最も重要な情報源には独自のクローラーを使う。

読む価値のある利用規約

Common Crawlの規約はそれ自体は簡潔だが、重要である。利用規約によれば、クロールされたコンテンツは取得元のサイトの規約に従う場合があり、利用者は著作権その他の権利を尊重することに同意するものとされ、商業利用の前には法的助言を受けることが推奨されている。また利用者は、そのコンテンツを使ってAIシステムを開発、学習、展開することから生じる請求についても責任を負うことになる。2025年以降、Common Crawlは法的なオプトアウト要求の登録簿も公開しており、該当するURLは以降のクロールやツールから除外される。データを再利用したからといって、これらの問題から外れるわけではないため、何を使用したかの記録を残しておくこと。

結論

Common Crawlは、幅広さ、履歴、安価な初期調査が必要な場合には適切な出発点である。特定のページ、鮮度のあるデータ、JavaScriptコンテンツ、あるいは地域ごとの視点が必要になった時点で、十分とは言えなくなる。まずインデックスでカバレッジを確認し、ステータスでキャプチャをフィルタリングし、規約を読み、無償のサンプルが不足する箇所でのみ自分でクロールすること。

出典と参考文献

• Common Crawl, FAQ: commoncrawl.org/faq
• Common Crawl, October 2026 crawl archive: commoncrawl.org
• Common Crawl, Terms of Use (last updated 7 March 2024): commoncrawl.org/terms-of-use
• Common Crawl, Get started: commoncrawl.org/get-started
• Common Crawl, URL index: commoncrawl.org/url-index
• Common Crawl statistics, crawl size, languages and crawler metrics: commoncrawl.github.io
• Common Crawl, Opt-out registry (17 September 2025): commoncrawl.org
• Common Crawl, Setting the record straight (4 November 2025): commoncrawl.org