多くのスクレイピングプロジェクトは、すでに構築し終えたものへの承認依頼として、遅い段階で法務チームに届く。これは承認を得るのに最も時間のかかる方法だ。弁護士が尋ねる質問は予測可能であり、それに事前に答えておくチームは、たいてい数週間ではなく数日で結論を得られる。
このチェックリストは、法務レビューが通常たどる順序でグループ分けした質問をまとめ、それぞれがなぜ重要なのか、どのような回答が望ましいのかを示す。プロジェクトを持ち込むエンジニアやデータ担当者向けに書かれており、何を準備すべきかがわかるようになっている。
これは一般的な情報であり、法的助言ではない。ルールは国によって異なり、急速に変化するため、何が自分のプロジェクトに適用されるかは自社の顧問弁護士が判断する。
1. 具体的にどのようなデータか
最初の質問はスコープに関するものであり、ここで曖昧な回答をするとその後すべてが遅れる。
- どのフィールドを収集するのか。 リストアップすること。「商品データ」は回答にならない。「商品名、価格、通貨、在庫状況、URL」であれば回答になる。
- どのサイトから、何ページ分か。 ソース、量、頻度を明示する。
- 何のためのものか。 目的によってその後の多くが決まる。社内の価格モニタリング、製品機能、再販、AIモデルの訓練は、それぞれ異なる問題を引き起こす。
- すべてが本当に必要か。 目的に資さないフィールドを削るよう求められると想定しておく。
望ましい回答は、サンプルレコードとフィールドリストを添えた1ページのスコープで、各フィールドが目的と紐づいているものだ。
2. 個人データが含まれているか
これはしばしば最も重要な質問であり、「公開されている=制限がない」と思い込むことで、チームが最もよく間違える点でもある。
- 単独で、または他の情報と組み合わせることで、個人を特定できるフィールドはあるか。 氏名、ユーザー名、写真、プロフィールURL、連絡先はすべて該当する。著者が紐づくレビューや投稿も同様だ。
- 誰のデータで、その人々はどこに住んでいるか。 欧州および英国のデータ保護法は、収集者の所在地に関わらず、これらの地域にいる人々の個人データに適用され、公開されているデータであっても例外はない。
- **法的根拠は何か。**また、プロジェクトの利益と人々の権利を誰かが比較検討したか。
- 本人への通知はどうなっているか。 本人からではなく本人についてデータを収集する場合でも、法律は本人への通知を期待しており、規制当局は公開投稿された素材からデータベースを構築した企業に制裁金を課したことがある。
- 回避できないか。 最良の回答は、多くの場合、収集時点で個人関連フィールドを除外することだ。
望ましい回答は、どのフィールドが個人データで、なぜそれぞれが必要で、残りがどのように保存前にフィルタリングされるかを示す。個人データがプロジェクトの中心にある場合、正式な影響評価が求められると想定する。基礎については当社のGDPR compliance overviewを参照。
3. データはどこから来るのか
法務は、プロジェクトがどのようなアクセスに依拠しているかを正確に知りたがる。
- すべてログインなしで公開閲覧可能か。 ログインの背後にあるデータは別問題であり、それを収集することは通常サイトの利用規約への同意を意味し、米国の判例はまさにこの点で結論が分かれている。hiQとLinkedInの紛争では、hiQはアンチハッキング法に関する初期判断で勝訴したが、後に偽アカウントの使用などを通じてユーザー契約に違反したと判断され、事件は差止命令とデータ破棄命令で終わった。
- サイトの利用規約に同意しているか。 アカウントまたはクリックによる同意が関わる場合、法務はその規約を読むことになる。米国の裁判所は2024年、Metaの利用規約がログアウト状態での公開データ収集を禁じていないと判断しており、これはログイン済みとログアウト済みのケースがなぜこれほど異なって扱われるのかを示している。
- robots.txtやその他のオプトアウト信号は何を示しているか。 robots.txtが法的拘束力を持たない場合でも、法務はそれを尊重しているかを尋ねる。EUにおけるAI訓練については、機械可読な留保表示が法的な重みを持つ。信号については当社のrobots.txt and AI opt-outsガイドを参照。
- 公式のAPIやライセンスはあるか。 サイトがAPIまたは有料でデータを提供している場合、法務はなぜそのルートを使わないのかを尋ねる。
望ましい回答は、各ソースについてアクセス種別(公開、ログイン、API)、利用規約、robots.txtの状況を、確認した日付とともにリストアップしたものだ。
4. どのように収集するのか
収集方法は、データとは別に重要な論点となる。サイトへのアクセス方法に基づく主張は、データそのものに関する主張が失敗した場合でも、裁判で認められてきた。X Corpが2024年にあるデータ企業を訴えた事件では、裁判所は公開投稿のスクレイピングと再販に関する主張を却下したが、サーバー負荷に関する主張は後に進行を認めた。
- 速度はどれくらいで、負荷はどの程度か。 サイトごとのリクエストレートと、エラーや応答遅延への適応方法を明示する。
- アクセス制御を回避する要素はあるか。 ログイン、有料壁、アクセスを制限する技術的措置は、法的リスクが急激に高まる領域だ。ここでは厳しい質問を想定する。
- 自身をどのように識別させているか。 法務は、収集者が自らを名乗るか、連絡先を提供しているかを尋ねることがある。
- インフラは誰が提供しているか。 プロキシネットワークやスクレイピングサービスを利用する場合、法務はそのプロバイダーがIPアドレスをどう調達し、何をログに記録しているかを尋ねる。ベンダーに何を尋ねるべきかについては当社のhow providers ethically source residential IPs解説を参照。
望ましい回答は、収集の仕組みを平易な言葉で説明する。レート、リトライとバックオフの挙動、ブロックへの対処方法、そしてログインや有料壁を回避しないという表明だ。
5. 誰が所有し、何ができるのか
データを収集しても、その所有者になるわけではない。法務は、自由に使えるものと、他者のものにとどまるものを分けて考える。
- 事実か、コンテンツか。 価格、日付、件数は一般に著作権で保護されない。記事本文、写真、レビューの文章表現は保護される。
- 欧州のデータベースに由来するものか。 EUおよび英国では、データベースに実質的な投資を行った作成者は、各項目が単なる事実であっても、他者による実質的な部分の抽出を差し止めることができる。
- 共有、販売、公開するのか。 社内分析、顧客向け機能、再販は、この順でリスクが高まる。
- AIモデルの訓練に使うのか。 オプトアウト、データセットの各部分の出所、取得方法の記録について質問を想定する。近年の米国の判決は、訓練素材の取得方法を、その利用方法とは別個の問題として扱っている。
望ましい回答は、データセットを事実、派生データ、複製されたコンテンツに分け、何が社外に出るのかを説明する。これらの階層については当社のwho owns scraped dataガイドで詳しく解説している。
6. どこに保管し、どのくらいの期間か
- どこで保管・処理されるか。 管轄によって適用される法律が変わり、プロキシの出口の所在地はデータの所在地とは異なる。data residency is not proxy locationを参照。
- 誰がアクセスできるか。 アクセス制御とセキュリティについて、特に個人関連のものについては質問を想定する。
- どのくらい保持するのか。 保持期間と、終了時のデータ削除方法を用意しておく。
- 要請があれば特定のレコードやソースを削除できるか。 本人やサイト運営者から要請があった場合、そこに由来するデータを見つけて削除できる必要がある。
望ましい回答は、保管場所、アクセスできるグループ、保持期間、削除プロセスを明示する。
7. 誰が責任を持ち、異議が出た場合どうするか
- プロジェクトの所有者は誰か。 質問に答え、収集を停止できる指名された人物。
- 何が文書化されているか。 ソース、日付、設定、変更点を、後から何をどのように収集したかを示せるよう保管する。モニタリングもここで役立つ。how to monitor a web scraping pipelineを参照。
- サイトから苦情や中止要求(cease-and-desist)が届いた場合どうするか。 法務は計画を求める。誰が受け取るか、そのソースからの収集をどれだけ早く停止できるか、次に何をするかを誰が決めるか。
- プロジェクトはいつ再レビューされるのか。 サイトは利用規約や信号を変更するため、年次レビュー、または目的が変わるたびのレビューが一般的だ。
望ましい回答は、所有者を明示し、文書の所在を示し、当日中に実行できる停止手順を説明する。
1ページのインテークサマリー
最初のミーティングに、これを記入して持参する。これで上記の質問の多くに、尋ねられる前に答えられる。
| トピック | 用意すべきもの |
|---|---|
| スコープ | フィールドリスト、サンプルレコード、ソース、量、頻度 |
| 目的 | データの用途、利用者 |
| 個人データ | どのフィールドが個人データか、なぜ必要か、他はどう除外するか |
| アクセス | 各ソースについて:公開かログインか、利用規約、robots.txt、APIの有無 |
| 方法 | リクエストレート、バックオフ、ブロック対応、ログインや有料壁の回避なし |
| インフラ | プロキシまたはスクレイピングベンダー、IPの調達方法 |
| 用途 | 社内利用、顧客向け、再販、AI訓練 |
| 保管 | 場所、アクセスグループ、保持期間、削除プロセス |
| 責任体制 | プロジェクト所有者、文書化、苦情・停止手順、レビュー日 |
恒常的なポリシーがあれば、2件目以降のプロジェクトはより速く進む。当社のdata collection policy templateは、これらの回答を全社的なルールに変換し、新しいプロジェクトごとに異なる点だけを文書化すればよいようにする。より広い法的全体像についてはis web scraping legalを参照。
FAQ
スクレイピングには法務の承認が必要か。
多くの企業が、特に個人データ、ログインアクセス、再販、AI訓練が関わるプロジェクトについて承認を必須としている。必須でない場合でも、短いレビューを行うことで、後から取り下げなければならないものを構築するのを避けられる。
法務がスクレイピングプロジェクトを止める最も一般的な理由は何か。
明確な目的と法的根拠のない個人データが頻度の高い理由の一つだ。ログインの背後での収集、著作権で保護されたコンテンツを再公開する計画も他の理由として挙げられる。スコープを絞ることで、この3つすべてが解決することが多い。
公開データは自由にスクレイピングできるか。
条件なしにはできない。公開されている個人データでも、欧州や英国のデータ保護法による保護は依然として及び、創作的なコンテンツは依然として著作権で保護され、EUでは事実のみを含むデータベースであっても保護される場合がある。収集方法もまた重要だ。
スクレイピングプロジェクトの法務レビューにはどれくらい時間がかかるか。
企業やプロジェクトによるが、遅延の大部分はスコープとデータに関するやり取りから生じる。完成したインテークサマリーを最初のミーティングに持参することで、その大部分を取り除くことができる。
結論
法務チームはあらゆるスクレイピングプロジェクトに対して同じ質問をする。どのようなデータか、誰のデータか、どこから来るのか、どのように収集するのか、何のためか、どこに保管するのか、誰が責任を持つのか。レビューが始まる前に回答を用意し、個人データとログインアクセスは、不可欠でない限りスコープから外し、ソースと方法を随時文書化すること。明確なインテークサマリーを持って臨むプロジェクトは、より早く承認され、後から疑問が出た場合にも説明しやすい。