どのAIチームも、早い段階で同じ分かれ道に立ちます。他者が構築したデータセットのライセンスを取得するか、自分でデータを収集するかです。マーケットプレイスは購入をワンクリックの判断のように見せますし、実際にそれで済むプロジェクトもあります。しかし別のプロジェクトでは、ライセンスデータが古かったり、肝心な部分が手薄だったり、出荷しようとしていた製品を妨げる条件が付いていたりすることが判明します。このガイドは、Webデータからモデルを構築しているチームが、なんとなくではなく意図を持ってこの判断を下せるようにするためのものです。
学習データの市場がどうなっているか、ライセンスで実際に何が得られるのか、価格には表れないコスト、そして判断のためのフレームワークを、成熟したチームの多くが最終的に採用するハイブリッドな体制とあわせて解説します。
学習データ市場の全体像
「マーケットプレイス」という言葉は、データを入手するかなり異なるいくつかの方法を指しています。
- 汎用的なデータ取引所。 クラウドプロバイダーやデータプラットフォームがカタログを運営し、ベンダーがデータセットを掲載して購入者がサブスクライブします。データは購入者のストレージやデータウェアハウスに直接届けられます。掲載データの多くは分析向けに作られたもので、学習への利用はライセンスで明示的に許可されている必要があります。
- AIデータ専門のベンダー。 厳選したテキスト、画像、音声、音声言語のコレクションを販売する企業で、アノテーション付きのことも多く、要望に応じたカスタム収集を提供するケースも増えています。
- オープンなデータセットのハブ。 データセットは無料でダウンロードできますが、それぞれに独自のライセンスが付いているリポジトリです。ライセンス欄が必ずしも記入されているとは限らず、正しいとも限りません。
- 直接のライセンス契約。 大手プラットフォームやパブリッシャーは、現在ではAI開発者に直接コンテンツをライセンスしています。RedditとGoogleの2024年の契約や、報道機関とAIラボの一連の契約によって、これは市場の目に見える一部となりましたが、大口の購入者向けの手段であり、セルフサービスのカタログではありません。
共通しているのは、データそのものと同じくらい権利を買っているという点です。中身が同じ2つのデータセットでも、ライセンスで何が許されるかによって価値は大きく変わります。
ライセンスで実際に得られるもの
価格を比較する前に、ライセンスの次の4点を確認しましょう。
- 許可される用途。 学習、ファインチューニング、評価、商用展開はそれぞれ別の許可です。「研究目的での利用」は通常、商用モデルを対象外としています。
- 範囲と独占性。 ライセンスはモデル単位か、製品単位か、全社か。ベンダーは同じデータを競合他社に販売できるのか。答えはほぼ必ず「できる」です。
- 期間と終了後の扱い。 多くのライセンスは年単位です。期間中に学習したモデルを終了後も使い続けられるか、元データを削除しなければならないかを確認しましょう。
- 保証。 ベンダーはそのデータを収集・販売する権利があったことを確約し、その主張に責任を持つか。この保証のないライセンスでは、法的リスクが自社に戻ってきます。
オープンなハブにも同じだけの精査が必要です。Data Provenance Initiativeが広く使われているテキストデータセットを監査したところ、かなりの割合でライセンス情報が欠落しているか誤っていることがわかりました。だからこそ当社では、AI学習パイプラインにおける来歴管理のガイドで説明しているように、すべてのドキュメントの出所を自社で記録しておくことをおすすめしています。
価格に表れないコスト
鮮度。 購入したデータセットはスナップショットです。モデルが最新の価格、製品、規制、言語を知っている必要があるなら、スナップショットは購入した日から古くなり始め、更新のサブスクリプションもそれに見合った価格が設定されています。
カバレッジの欠落。 カタログが充実しているのは、英語と最大規模の市場です。特定の国、地域の言語、ニッチな分野が必要なチームは、データが手薄だったり、ベンダーが文書化していない方法でサンプリングされていたりすることに気づくことがよくあります。
共有されるデータ。 自分が買えるなら、他の誰でも買えます。ライセンスデータだけでモデルが優位に立つことはほとんどありません。
統合。 ベンダーごとにスキーマ、重複排除のルール、品質水準が異なります。どの経路でデータを入手したにせよ、ソースのクリーニングと結合は本格的なエンジニアリング作業です。
コンプライアンスの書類作業。 汎用AIモデル向けのEU AI規則（EU AI Act）の概要テンプレートでは、公開データセットやスクレイピングしたソースと並んで、ライセンスを取得した非公開データセットを記載するよう提供者に求めています。データを購入しても文書化の作業はなくならず、文書化すべき内容が変わるだけです。
自分で収集する場合のコスト
収集には収集のコストがあります。
- エンジニアリング。 クローラー、パーサー、スケジューリング、ストレージ、監視に加え、対象サイトの変更に合わせた保守が必要です。
- アクセス。 サイトは単一IPからの繰り返しのリクエストを制限し、国によって異なるコンテンツを表示することもよくあります。公開データを適切な場所から大規模に収集するには、国や都市単位のターゲティングに対応したレジデンシャルプロキシのような、そのために作られたネットワークが必要です。
- 方針。 robots.txt、テキスト・データマイニングの留保、サイトの利用規約について明確なルールを定め、収集の時点で記録しておく必要があります。尊重すべきシグナルは、robots.txtとAIのオプトアウトシグナルの概要で解説しています。
- 品質向上の作業。 重複排除、言語判定、定型文の除去、フィルタリングには、クロールそのものと同じくらいの時間がかかります。
その見返りとして、最新で、タスクに合わせた形に整い、必要な方法で文書化され、競合他社の学習データにも含まれていないデータが手に入ります。
フレームワーク：購入すべきとき、収集すべきとき
| 状況 | より良い選択 | 理由 |
|---|---|---|
| 一度限りのベンチマークや評価用データセット | 購入、またはオープンデータを利用 | 範囲が限られ、鮮度の重要性が低い |
| データを毎週または毎日更新する必要がある | 収集 | 更新ライセンスは高額になり、遅れも出る |
| 特定の国や地域の言語 | 収集、または購入して補完 | 大規模市場以外ではカタログが手薄 |
| プラットフォームの内側にしか存在しないデータ | 直接ライセンス | 収集すると規約に違反するか、そもそも不可能 |
| 独自の優位性こそが目的 | 収集 | ライセンスデータは誰でも入手できる |
| 小規模チームで最初のプロトタイプ | 購入、またはオープンデータを利用 | まずリリースし、収集への投資は後で |
| 監査の厳しい顧客や規制当局 | どちらでも可、ただし完全な記録を残す | 重要なのは経路ではなく記録 |
役に立つ判断基準があります。6か月後にも同じデータセットを買い直す必要があるなら、パイプラインを所有しないままパイプラインの代金を払っていることになります。
多くのチームが行き着くハイブリッド型
成熟したチームが、どちらか一方だけを選ぶことはほとんどありません。よくあるパターンは次のとおりです。
- **オープンデータとライセンスデータから始め、**動作するベースラインを素早く作ります。
- モデルが失敗する箇所を測定します。 欠けている国、古い事実、弱い分野などです。
- そうした欠落部分に限って収集します。 公開ソースから定期的に収集し、取得時に来歴を記録します。
- **カタログを1つにまとめ、**すべてのソース、そのライセンスまたは収集方針、更新日を記載します。そうすれば、公開概要の作成や顧客アンケートへの回答が数週間ではなく数時間で済みます。
その収集レイヤーを構築しているなら、オープンWebから大規模な学習データセットを構築する方法のガイドで、クロールからクリーンなレコードまでのパイプラインを順を追って解説しています。
まとめ
必要なデータの範囲が限られ、一般的で、時間的な制約がない場合は学習データを購入し、サンプルと同じくらい注意深くライセンスを読みましょう。鮮度、地域のカバレッジ、独自の優位性が重要な場合は自分で収集し、最初のリクエストから来歴を記録しましょう。多くのチームは両方を行っており、それをうまく実践しているチームは、購入したものか収集したものかを問わず、すべてのソースを説明できる状態に保っています。