この記事は一般的な教育目的の情報であり、法律的な助言ではありません。法律は国によって異なり、時間とともに変化します。また、その適用方法は個々の事実によって異なります。ご自身の状況については、資格を持つ弁護士にご相談ください。
「ウェブスクレイピングは合法か?」は、データの世界で最も検索される質問の一つであり、正直な答えは「通常は合法だが、状況による」というものです。ウェブスクレイピングそのもの、つまり公開されているウェブページをプログラムで読み取る行為は、多くの法域で広く合法とされています。スクレイピングが明らかに問題ないものから法的リスクのあるものへと変わるのは、次の3つの要素の組み合わせによるものです。何を収集するか、どのように収集するか、そしてあなたと対象がどこに位置しているかです。
これは法的な状況をわかりやすくまとめた概観です。ほとんどのケースを決定づける原則、知っておくべき重要な判例、そしてスクレイピングを正しい範囲に保つための実践的な習慣を紹介します。弁護士の代わりにはなりませんが、正しい問いを立てる助けになるはずです。
短くまとめると
ほとんどの公開されている、個人情報ではないデータのスクレイピングは、アクセス制御を回避せず、対象に過剰な負荷をかけない限り、米国その他の裁判所では概ね許容されてきました。リスクが急激に高まるのは、次のいずれかに踏み込んだ場合です。
- 個人データ(名前、メールアドレス、プロフィール)のスクレイピング — プライバシー法が適用される。
- 許可されていないログインやペイウォールの背後へのアクセス。
- 事実の抽出ではなく著作権のあるコンテンツの再公開。
- 過剰な負荷による対象サーバーの劣化。
- 契約上の責任を生じさせる形での利用規約の違反。
安全圏、つまり公開・非個人・敬意ある・事実的な範囲に留まれば、ほとんどの場所で確固とした立場にあります。リスク圏に踏み込むと、「合法かどうか」は具体的な事実に基づく実際の問題になります。
実際に合法性を決めるフレームワーク
合法性は単一の法律ではなく、複数の重なり合う法体系によって決まり、あるスクレイピングは複数に触れることがあります。
1. コンピュータアクセス法(例:米国のCFAA)。 コンピュータ詐欺および濫用防止法(CFAA)は、コンピュータシステムへの「無許可アクセス」を処罰します。重要な問いは、公開されているページのスクレイピングが「無許可」に当たるかどうかです。最近の米国の判例はこれを大幅に狭めており(以下の事例を参照)、ブラウザでアクセスできる公開データは一般に「無許可アクセス」には当たりません。利用権限のない認証の背後にあるデータへのアクセスは別の話です。
2. 契約法/利用規約。 多くのサイトの利用規約は自動アクセスを禁止しています。利用規約違反は一般に犯罪ではなく契約上の問題ですが、民事責任(契約違反)を負う可能性があります。裁判所は「クリックラップ」条項(「同意する」をクリックしたもの)を「ブラウズラップ」(一度も操作していないフッターのリンク)よりも重く扱います。利用規約違反はスクレイピングを犯罪にはしませんが、実質的な民事リスクとなります。
3. 著作権。 事実やデータは著作権の対象になりません。創作的表現が対象です。価格、仕様、統計を抽出することは、記事、写真、その他の原著作物をコピーして再公開することよりもはるかに安全です。著作権のある素材を複製する場合、フェアユース/フェアディーリングやライセンスが関わる著作権の領域に入ります。
4. データベース権(特にEU)。 EUのsui generisデータベース権は、個々の事実が著作権対象でなくても、データベース編纂への相当な投資を保護します。EUにおいて保護されたデータベースの実質的な部分をスクレイピングして再利用することはこの権利を侵害する可能性があり、米国には対応する権利がありません。
5. プライバシー/データ保護法(GDPR、CCPAなど)。 これは個人データにおける最大の論点です。GDPRはどこからスクレイピングしていてもEU域内の人々の個人データに適用され、一般に法的根拠、透明性、個人の権利の尊重を要求します。個人データ(顔、プロフィール、連絡先情報)のスクレイピングは最もリスクの高いカテゴリーであり、複数の規制当局がこれに関して大規模な罰金を科しています。カリフォルニア州のCCPA/CPRAや、増え続ける他のプライバシー法もそれぞれの要件を追加します。
6. 動産不法侵害(トレスパス・トゥ・チャテルズ)。 サーバーへの過剰負荷など、スクレイピングが対象のシステムに損害を与える場合に適用されうる古い法理です。トリガーとなるのはアクセスそのものではなく損害です。
要点:単一の「スクレイピング法」というものは存在しません。あるスクレイピングが合法かどうかは、これらのうちどれに触れるかによって決まり、それは何のデータを、どのように、どこで扱うかによって左右されます。
知っておくべき重要判例
いくつかの判決が、実務における状況を形作ってきました。(判例法は変化するものであり、これらは方向性を示すものとして扱い、現在の最終的な答えとは見なさないでください。)
hiQ Labs対LinkedIn(米国、第9巡回区)。 hiQは公開されているLinkedInのプロフィールをスクレイピングしました。裁判所は、公開されているデータのスクレイピングがCFAAにおける「無許可アクセス」に当たる可能性は低いことを示し、公開データのスクレイピングが犯罪的なハッキングではないという大きな指標となりました。注目すべきは、hiQは後にLinkedInの利用規約違反という契約上の理由で責任を問われており、CFAAと利用規約は別問題であることを示しています。
Van Buren対米国(米国最高裁、2021年)。 最高裁はCFAAの「許可されたアクセスの範囲を超える」という条項を狭めました。合法的に有しているアクセス権を不適切な目的で使用することは、自動的にCFAA違反とはなりません。これにより、多くのスクレイピングのシナリオにおけるCFAAのリスクが減少しました。
Meta対Bright Data(米国、北カリフォルニア連邦地方裁判所、2024年)。 裁判所は、公開されているFacebookおよびInstagramのデータのスクレイピングがMetaの利用規約に違反しないと判断しました。これは、スクレイパーが公開データを収集する際にログインしていなかったことが一因です。公開・ログアウト状態のスクレイピングが、認証の背後でのスクレイピングよりも確固とした立場にあることを示すもう一つの事例です。
Clearview AI(EU/英国の規制当局)。 規制当局はClearviewに対し、顔画像という個人データを法的根拠なく認識用データベース構築のためにスクレイピングしたことに罰金を科しました。個人データのスクレイピングは、規則が厳格なプライバシー法によって規律されることを明確に示す事例です。
これらに共通するパターンは、公開・ログアウト状態・非個人・事実的なスクレイピングが最も安全な領域であり、認証、個人データ、再公開されたコンテンツが法的リスクの集中する領域であるということです。
プロキシはどこに関わるのか
よくある誤解は、プロキシを使うことで法的な状況が変わるというものです。どちらの方向にも変わりません。
レジデンシャルプロキシはルーティングツールであり、CDN、VPN、企業ネットワークを支えているのと同種のインフラです。それを使用することは合法です。しかし、プロキシは合法性を洗浄するものではありません。違法なスクレイピングをプロキシ経由で行っても合法になるわけではなく、合法なスクレイピングをプロキシ経由で行っても違法になるわけではありません。プロキシが変えるのは、リクエストがどのIPから発信されるかであり、そのリクエストを行うべきかどうかではありません。
プロキシが正当に役立つのは、規模を拡大しながら責任を持って運用すること、つまり単一のエンドポイントに負荷を集中させないよう分散させることと、地域に適したコンテンツにアクセスすることです。基礎となる行為の合法性は変わりません。(私たちの許容利用ポリシーはShifterで許可されている事項を定めており、まさにこれらの原則に沿っています。)
正しい側に留まるための実践的なベストプラクティス
ブログ記事から法的な確実性を得ることはできませんが、これらの習慣を取り入れることでリスクを大幅に下げることができます。これらは同時に優れたエンジニアリングでもあります。
- ログインの背後にあるデータではなく、公開データをスクレイピングする。 認証は明確な境界線です。到達するためにログインやアクセス制御の回避が必要な場合は、高リスクとして扱い、助言を求めてください。
- 法的根拠がない限り個人データを避ける。 名前、メールアドレス、プロフィール、特に生体情報や機密データはプライバシー法を発動させます。個人データが必要ない場合は収集しないでください。必要な場合は、その根拠と義務について適切な助言を得てください。
- robots.txtが重要な意味を持つ場合はそれを尊重する。 これは法律ではありませんが、robots.txtやサイトの明示された意向を尊重することは、誠実さの強力な証拠であり、それが標準的な作法です。
- 対象を劣化させない。 レート制限を行い、合理的な範囲でオフピーク時にスクレイピングを行い、収集活動がサイトのパフォーマンスに害を与えないようにしてください。サーバーへの損害は、トレスパス(不法侵害)の主張の根拠となるものです。(良いスクレイピングの実践と合法的な振る舞いは大きく重なります。)
- 事実を抽出し、創作コンテンツを再公開しない。 価格、仕様、データ点は、記事、画像、その他の原著作物をコピーすることよりもはるかに安全です。
- 利用規約を読む。 特にクリックラップ条項について、何に同意しているのかを理解し、違反した場合の契約上のリスクを検討してください。
- 法域に注意する。 EU域内のデータ主体は、あなたがどこで活動していてもGDPRを発動させます。EUのデータベースはデータベース権を発動させます。あなた自身の国の法律も適用されます。国境を越えたスクレイピングは、適用されるルールブックの数を増やします。
- 目的と手順を文書化する。 正当で十分に文書化された利用(価格比較、研究、モニタリング)は、曖昧または攻撃的な収集よりも弁護しやすいものです。
これらの原則は、責任あるデータセット構築や学習データの収集の背景にあるものと同じであり、コンプライアンスと品質は同じ方向を目指しています。
FAQ
ウェブスクレイピングは合法ですか? 一般的に、アクセス制御を回避せず、対象に損害を与えることなく、公開されている非個人データをスクレイピングすることは、多くの法域で広く合法です。個人データ、認証/ペイウォール、著作権のあるコンテンツ、サーバーへの損害、または利用規約違反が関わると、法的リスクが生じます。それは常に具体的な事実と法域によって決まります。
公開データのスクレイピングは合法ですか? 公開されている、ログアウト状態のデータが最も安全な領域です。米国の判例法は、公開アクセス可能なページのスクレイピングが「無許可アクセス」に当たる可能性は低いことを繰り返し示してきました。しかし、公開されているということは無制限であることを意味しません。その公開データが個人データである場合、プライバシー法は依然として適用され、著作権のある公開コンテンツの再公開は依然として著作権の問題を引き起こします。
利用規約に違反するとスクレイピングは違法になりますか? 犯罪にはなりませんが、民事上の問題になる可能性があります。利用規約違反は一般に契約上の問題であり、コンピュータアクセス法とは別に、契約違反責任を負う可能性があります。クリックラップ条項(積極的に同意したもの)は、ブラウズラップ(フッターのリンク)よりも重く扱われます。
個人データのスクレイピングは合法ですか? これは最もリスクの高いカテゴリーです。個人データは、GDPR(EU域内の人々に関して、どこからスクレイピングしていても適用される)やCCPAのようなプライバシー法を発動させ、一般に法的根拠を必要とし、義務を課します。複数の規制当局が、根拠なく個人データをスクレイピングした企業に罰金を科しています。個人データをスクレイピングする前に法的助言を得てください。
プロキシを使うとスクレイピングは合法または違法になりますか? どちらでもありません。プロキシは合法的なルーティングツールであり、リクエストがどのIPから発信されるかを変えるものであり、その基礎となる行為が許可されているかどうかを変えるものではありません。違法なスクレイピングを合法にすることはできず、合法なスクレイピングを違法にすることもありません。
著作権のあるコンテンツをスクレイピングすることは合法ですか? 価格、仕様、数値などの事実を抽出することは、事実が著作権の対象にならないため、一般的に安全です。記事、写真、動画などの原創作コンテンツをコピーして再公開することは、フェアユース/フェアディーリングやライセンスの対象にならない限り、著作権を侵害する可能性があります。
結論
ウェブスクレイピングは、大部分において合法です。特に、アクセス制御を回避せず、サイトに損害を与えることなく、公開されている非個人的で事実的なデータを収集する場合はそうです。法的リスクは、その境界線、つまり個人データ、認証、著作権のあるコンテンツ、サーバーへの過剰負荷、契約条項に存在します。コンプライアンスを保つことの大部分は、単にそれらの境界線から離れ、誠実に行動することです。
これらのいずれも、あなた自身の具体的なプロジェクトに関する助言の代わりにはなりません。疑わしい場合は弁護士に相談してください。しかし、原則は一貫していて学ぶことができます。公開されているものをスクレイピングし、必要なものだけを取得し、対象に損害を与えず、プライバシーと著作権を尊重し、自分の法域を把握することです。それを行えば、質の高いレジデンシャルプロキシネットワークは、規模を拡大して公開データを収集するための、まさに本来意図された通りの責任あるインフラとなります。ウェブスクレイピング自体についてさらに詳しくは、ウェブスクレイピングとは何か、それがビジネスをどのように支えるかから始めてください。