プロキシの利用は米国、英国、EUにおいて合法です。トラフィックを中間サーバー経由でルーティングすること自体に違法性はなく、あらゆる規模の企業がテスト、モニタリング、セキュリティ研究、データ収集のために日常的に行っています。
より難しい問題は、プロキシが合法かどうかではなく、それを使って何をするかであり、そこで答えは具体的になります。データの種類、管轄区域、そしてログインが関わるかどうかによって変わってきます。
この記事は一般的な情報であり、法的アドバイスではありません。何らかの規模のプロジェクトを始める前に、自身の状況について助言を得てください。
合法的に収集できるものと、できないもの
最も重要な区別は技術的なものではありません。データがアクセス障壁の背後にあるかどうかです。
一般的に正当化しやすいもの:
- アカウントなしで誰でも閲覧できる公開データ:商品リスト、価格、公開プロフィール、公開済みの記事、検索結果。
- 他の利用者にとってサービスの質を落とさない速度で収集するデータ。
- それ自体が著作権で保護されていない事実、価格、その他の情報。
明らかにリスクが高いもの:
- ログインの背後にあるもの、特にアカウント取得のために利用規約に同意した場合。
- 単に公開ページをリクエストするのではなく、技術的なアクセス制御を回避すること。
- 識別可能な個人に関する個人データ。ページが公開されていたかどうかにかかわらず、データ保護法が関わってきます。
- 著作権で保護されたコンテンツの大規模な複製、または保護されたデータベースの相当部分の抽出。
利用規約は契約であり、犯罪ではない
サイトの利用規約は自動アクセスを禁止している場合があります。これに違反することは一般的に契約上の問題です。契約違反として訴えられる可能性があり、実際の法的リスクではありますが、コンピュータ不正利用法とは異なる領域に属します。
この区別は、明示的に利用規約に同意した場合、通常はアカウントを作成した場合に狭まります。利用規約に一度も同意していない公開ページのスクレイピングは、クリックして同意した利用規約のあるアカウント内からのスクレイピングよりもはるかに確固とした立場にあります。
著作権とデータベース権
事実は著作権の対象にはなりません。価格は事実です。商品リストは大部分が事実に基づくものです。記事の文章、写真、説明文をそのまま複製することは別の問題であり、これらを大量に収集して再公開することは、訴訟を引き起こす最も明確な要因です。
EUには著作権とは別にデータベース権という特有の制度があり、個々の事実が保護されていない場合でも、データベース編集への相当な投資を保護します。そのようなデータベースの相当部分を抽出することは、個々の項目が保護されていなくても侵害となりえます。
個人データがすべてを変える
収集したものが生存する個人を特定できる場合、そのページが公開されていたかどうかにかかわらずデータ保護法が適用されます。GDPRの下では処理のための法的根拠が必要であり、正当な利益を根拠とする場合は証明可能なバランシングテストが求められます。それに続いてデータ主体の権利、保存期間の制限、透明性義務が発生します。公開されたLinkedInのプロフィールは、公開データであると同時に個人データでもあります。
地域によるルールの違い
| 地域 | 主な法的枠組み | 公開データのスクレイピングに関する立場 | 主な落とし穴 |
|---|---|---|---|
| 米国 | コンピュータ詐欺および不正利用法(CFAA)、州法 | 裁判所は公開ページのスクレイピングを不正アクセスとみなすことに消極的である | 契約違反の訴えおよびCCPAなどの州レベルのプライバシー法 |
| 英国 | コンピュータ不正利用法、UK GDPR、データベース権 | 公開データの収集は本質的に違法ではない | UK GDPRは個人データに適用され、データベース権は編集されたデータ集合を保護する |
| EU | GDPR、データベース指令、DSM指令 | 英国と同様だが、研究目的のテキスト・データマイニングに関する明示的な例外がある | GDPRは厳格であり、データベース権の範囲は多くの人が想定するより広い |
管轄区域は単一の答えで済むことはほとんどありません。同時に3つの場所が問題になります。自分がいる場所、サーバーがある場所、そして対象サイトとそのユーザーがいる場所です。米国企業がEU居住者に関するドイツのサイトをスクレイピングする場合、スクレイパーがどこで動作していようとEU法が関わってきます。
倫理的なIPの調達
レジデンシャルプロキシネットワークは、実際の人々の家庭用接続から構築されています。それらの人々がどのように参加するに至ったかは、この業界において最も重要な未解決の問題であり、購入前に直接確認する価値があります。
適切に運営されているネットワークは、自分が何に同意しているかを理解している参加者を募っています。通常はアプリケーションの利用者に対して、広告なしプランや有料の報酬など、何らかの価値あるものを提供する代わりに、未使用の帯域幅の一部を提供してもらう形です。彼らは明確に説明を受け、離脱することもでき、プロバイダーは自社のコードを搭載しているアプリケーションを監査しています。
運営がずさんなネットワークは、この機能を誰も読まない小さな注意書きとして無料ソフトウェアに組み込んだり、さらに悪い場合には、ユーザーが知らずにインストールしたアプリケーションの中に潜ませて配布しています。そのように構築されたネットワークは、取り締まり措置の対象となったり、侵害されたデバイスとの関連性を示す研究の対象となったりしています。
これは倫理面だけでなく、商業面でも重要です。同意なく組み立てられたIPプールは不安定であり、侵害されたマシンを含む可能性が高く、そのプロバイダーがニュースになった場合には評判上のリスクにさらされます。
購入前に確認すべきこと
- 参加者はどのようにネットワークに加わり、どのような説明を受けているか?
- その対価として何を受け取り、いつでも離脱できるか?
- SDKを搭載しているアプリケーションを監査しているか?
- どのようなコンプライアンス認証を保有しており、その報告書を提示できるか?
- アドレスに関して不正利用が報告された場合の方針は何か?
ShifterはSOC 2 Type II、GDPR、HIPAAへの準拠を維持しており、これらは他のどのプロバイダーに対しても、信用するのではなく証明を求めるべき種類の資格です。
プロキシは安全か?
安全性は2つの問いに分かれます。
トラフィックは安全か? 信頼できる有料プロバイダーであれば、はい。プロキシへの接続は暗号化されており、プロバイダーにはそれを保護する商業的な理由があります。無料の公開プロキシであれば、いいえ。運営者は実際の帯域幅コストを支払っており、何らかの方法でそれを回収しています。通過する内容をログに記録したり、コンテンツを挿入・置換したり、あなたの接続を転売したりする形です。無料のリストは何千人もの他人とも共有されており、多くの商用サイトではすでにブロックされています。
匿名性は保たれるか? いいえ、これは率直に言う価値があります。プロキシはウェブサイトから見えるIPアドレスを変えます。クッキー、ブラウザフィンガープリント、ログイン状態、アカウント履歴には手を加えず、しかもプロバイダー自身はあなたのトラフィックを見ることができます。プロキシは位置情報やリクエスト頻度を管理するツールとして扱うべきであり、プライバシーの保証とはみなさないでください。
実務的な指針
- 公開データを優先する。 ログインの外側にある方が、法的な立場ははるかに明確です。
- robots.txtとレート制限を尊重する。 どちらもほとんどの管轄区域では法的拘束力はありませんが、これを無視すると紛争が生じた際の弁護が難しくなり、他者のサービスの質を落とすことになります。
- 収集は最小限に。 収集範囲を狭めることで、データ保護法とデータベース法双方のもとでの露出が減ります。
- 十分に検討していない限り、個人データは避ける。 収集が必要な場合は、開始前に法的根拠を文書化してください。
- 記録を残す。 何を、いつ、なぜ、どのような根拠で収集したか。疑問が生じた場合、同時期に作成された記録が重要になります。
- 大規模な取り組み、規制対象業界、個人データが関わる場合は法的助言を得る。
結論
プロキシの利用は合法です。ウェブスクレイピングは、公開データが関わる大多数のケースにおいて合法です。リスクは具体的な要素、すなわちログイン、個人データ、著作権で保護されたコンテンツ、データベースの相当量の抽出に存在し、管轄区域によって異なります。
自社のIPアドレスがどこから来ているかを説明できるプロバイダーを選び、可能な限り収集を公開データに限定し、大規模な取り組みに着手する前には助言を得てください。
収集の技術的な側面についてはweb scraping proxiesを、より広い分類についてはtypes of proxiesをご覧ください。