ウェブの歴史の大半において、公開データはただそこにあり、集められるかどうかだけが問題でした。それが変わりつつあります。プラットフォーム、パブリッシャー、データ保有者は、自社データをライセンス、有料API、正式なデータアクセス契約の背後に置くようになっており、自動収集とAIトレーニングを明確に狙った規約を定めています。
ウェブデータを収集する組織にとって、これは単なる制約ではありません。データアクセス契約を結べば、自前で収集するよりもクリーンなデータ、明確な権利、少ない法的リスクが得られることがあります。データを公開する組織にとっては、誰がどのような条件でそれを使うかを決める手段になります。本ガイドでは、こうした契約に何が含まれるか、どちらの立場がいつ契約を使うべきか、そして通常の公開ページ収集とどう共存するかを扱います。
これは一般的な情報であり、法的助言ではありません。契約やそれを取り巻く法律は様々であり、署名前には必ず弁護士に確認を依頼してください。
データアクセス契約が広がっている理由
3つの変化が、データ保有者を正式な契約へと向かわせました。
- AIトレーニングがデータの価値を高めた。 テキスト、画像、構造化データがトレーニング素材となり、保有者はその対価の支払いや利用条件の設定を求めるようになりました。
- 主要プラットフォームがアクセスを有料APIの背後に移した。 2023年には複数の大手ソーシャルプラットフォームが、それまで無料または安価だったAPIアクセスに課金を導入、あるいは大幅に引き上げ、アクセスを商業的な関係へと変えました。
- オプトアウト信号が法的な重みを持つようになった。 EUでは、権利者は機械可読な形で商業的なテキスト・データマイニングから自らのコンテンツを留保することができ、AIプロバイダーはその留保を尊重しなければなりません。robots.txt、AIオプトアウト、留保信号についてのガイドでその仕組みを解説しています。
結果として、より明示的な条件を持つウェブが生まれています。一部のデータは自由に収集可能なままですが、一部はライセンスの下でのみ利用可能であり、その境界線はますます明文化されています。
データアクセス契約がカバーする内容
契約の内容は様々ですが、大半は同じ論点を扱います。
| 条項 | 定める内容 |
|---|---|
| 範囲 | どのデータ、どのフィールド、どの履歴、どの程度の鮮度か |
| 提供方法 | API、一括ファイル、フィードのいずれか、どのフォーマットか |
| 許可される用途 | 社内分析、製品化、再販、AIトレーニング、それぞれ許可か否か |
| 量と頻度 | どれだけの量、どれだけの頻度、上限を超えた場合どうなるか |
| 帰属表示 | 出典表示が必要か、必要ならどのように行うか |
| 個人データ | 誰が管理者か、何を保持してよいか、削除がどう伝播するか |
| 期間と終了 | どのくらい続くか、終了時に何を削除しなければならないか |
| 料金 | 固定額、呼び出し単位、レコード単位、または収益分配 |
| 監査と報告 | 利用状況についてライセンシーが何を示す必要があるか |
大半の買い手にとって最も重要な条項は許可される用途です。社内分析を許可する契約が再販やモデルトレーニングを禁じている場合があり、データ自体が公開されていても、範囲外での利用は契約違反となり得ます。
データ収集者にとって：契約が収集に勝るとき
公開ページの収集は依然として正当であり、多くの場合正しい選択です。しかし、以下のような場合には契約を検討する価値があります。
- 非公開のデータが必要な場合。 履歴、識別子、ページに決して表示されないフィールドなど。
- データの再販やトレーニングに関する明確な権利が必要な場合。 契約は、収集では決して得られない権利を付与できます。スクレイピングしたデータの所有権は誰にあるかについてのガイドで、収集だけでは所有権が得られない理由を説明しています。
- ソースが頻繁にブロックや変更を行う場合、収集ツールの維持コストがライセンス費用を上回ることがあります。
- 顧客やコンプライアンス担当者が出所の証明を必要とする場合、署名済みの契約はクロールログよりも適切にそれを文書化します。
一方、ユーザーが見るままの公開ビューが、多数のソース、多数の市場にわたって必要で、契約が存在しない、あるいはソースが提供に関心を持たない場合は、収集の方が適しています。各市場を現地の訪問者として見ることこそ、レジデンシャルプロキシの目的です。
契約を結ぶ場合のベストプラクティス：
- 署名前に、許可される用途を自社が計画するすべての用途に照らし合わせる。 将来の製品やAI関連の作業も含めて確認します。
- ライセンスされたデータと収集したデータを分けて保管し、すべてのレコードに出所を記録して、どの条件が適用されるか常に把握できるようにします。
- 終了時に備える。 何を削除しなければならないかを把握し、それができるようにストレージを設計します。
- 独占条項や最恵待遇条項に注意する。 こうした条項は、他に何ができるかを制限します。
データ保有者にとって：自社データの管理を取り戻す
他者に収集されるデータを公開している場合、契約は利用方法を決めるための複数の手段の一つです。
- 何が本当に公開されるべきかを決める。 インデックスされ、見られたいコンテンツを収集者から同時に守ることは難しく、ライセンスしたいコンテンツはAPIやログインの背後に置くべきです。
- 条件を明確に、機械可読な形で示す。 利用規約、robots.txt、そしてEUにおけるテキスト・データマイニングに関する機械可読な留保は、いずれも立場を示す信号になります。明確な信号は、契約交渉を容易にし、違反の立証も容易にします。
- 正当な経路を用意する。 文書化されたAPIやライセンスは、真剣なユーザーに対し、回避して収集する代わりに対価を払って順守する手段を与え、誰がデータを使っているかの記録も得られます。
- 量だけでなく用途に応じて価格を設定する。 分析、再販、AIトレーニングでは価値がまったく異なります。
- 実態に即した執行を行う。 技術的対策、レート制限、契約上の請求にはそれぞれ限界があります。裁判所は、データがどのように取得されたかに関する主張と、公開データの所有権に関する主張とを区別して扱ってきました。
法的背景、簡潔に
契約は、まだ定まり切っていない法的枠組みの上に成り立っています。米国では、裁判所はプラットフォームの利用規約がログアウト状態での公開データ収集を止めるものではないと判断した一方で、偽アカウントやサーバー負荷など、データの取得方法そのものに基づく主張は存続してきました。EUでは、契約条項は他に保護されていないデータベースの利用を制限することができ、スイ・ジェネリス・データベース権はデータベースへの実質的な投資を保護し、データ保護法は個人データがどのように取得されたかにかかわらず適用されます。
収集にせよ契約にせよ、それに依拠する前に、法務チームは範囲、アクセス、権利、個人データについて同じ問いを投げかけます。スクレイピングプロジェクトの承認前に法務が尋ねることのチェックリストでそれらを取り上げています。
よくある質問
データアクセス契約とは何ですか？
データ保有者が他者に対し、通常はAPI、ファイル、フィードを通じて、定められた条件、すなわちどのデータか、どう使ってよいか、どれだけの量か、どのくらいの期間か、いくらかでアクセスを提供する契約です。
データはライセンスすべきですか、それともスクレイピングすべきですか？
必要なものによります。非公開データ、明確な再販やAIトレーニングの権利、頻繁に変化するソースにはライセンスが向いています。多数のソースや市場にわたる、見たままのビューで、契約が提供されていない場合は公開ページの収集が向いています。
データアクセス契約は、公開されているデータを制限できますか？
契約に基づいて受け取ったデータの利用方法は制限できます。そのデータが同時に公開されているものであってもです。あるサイトの一般利用規約が、他者によるその公開ページの収集を制限するかどうかは、法域やその規約が収集者を拘束するかどうかによります。
ウェブサイトは、自社データの利用方法をどのように管理できますか？
何を公開するかを決め、条件とオプトアウトを明確かつ機械可読な形で示し、正当なユーザー向けにライセンスされた経路を用意し、規約に違反する、あるいはサービスに損害を与える収集行為に対して執行を行うことによってです。
まとめ
データアクセス契約は、ウェブデータがやり取りされる方法として一般的になりつつあります。収集者にとっては、対価と引き換えに、収集だけでは得られない権利とデータを提供します。保有者にとっては、誰がどのように自社データを使うかを決める手段を提供します。収集では得られないものを契約が与えてくれる場面でそれを活用し、ライセンスされたデータと収集したデータを分けて管理し、何よりもまず許可される用途の条項を読んでください。