スクレイピング

デジタルサービス法は、ウェブ観測を規制インフラへと変えている

デジタルサービス法のデータアクセスは、プラットフォーム研究を再構築している。管理されたウェブ観測と地理的な視点が、アカウンタビリティにとってなぜ重要なのかを解説する。

Matt Brown

Matt Brown

2026年9月8日 · 1 分で読める

長年、プラットフォーム研究における根本的な問題の一つは非対称性であった。デジタルプラットフォームは自社のサービス全体にわたる膨大な量の活動を観測できる一方で、そのプラットフォームの外にいる研究者は、プラットフォームが公開することを選んだデータだけを扱わざるを得ないことが多かった。

欧州連合のDigital Services Actは、その関係を変え始めている。

Digital Services Actのデータアクセスの枠組みは、法規制の文言から実務的な研究インフラへと移行しつつある。2026年5月19日時点で、Digital Services Coordinatorsはすでに検証済み研究者(vetted researcher)資格に関する49件の申請を受け取っていた。欧州委員会によれば、それらの申請は主にソーシャルメディアプラットフォームに関するものであり、違法コンテンツ、広告の透明性、AI機能に関する研究が含まれていた。

これは重要なことである。しかし、プラットフォームが保有するデータセットへのアクセスは、研究上の問題のほんの一部にすぎない。研究者がデジタルプラットフォームが欧州の人々にどのような影響を与えているかを理解したいのであれば、ユーザー側のインターフェースからそれらのプラットフォームを観察する手段も必要になる。公式のデータセットはいくつかの問いに答えることができる。独立した観察は別の問いに答えることができる。

要点

  • DSAは、研究者アクセスを法的原則から実務的な研究レジームへと変えつつある。
  • プラットフォーム提供のデータセットと、独立した外側からの観察(outside-in observation)は、異なる、補完的な問いに答えるものである。
  • Xの2026年7月の是正措置は、対象となる研究者が公開されているプラットフォームデータへの自動化されたアクセスを必要とする可能性があることを裏付けている。
  • 地理、デバイス、セッション状態、時間は、ユーザーが実際に体験することを研究する際の研究変数として扱われるべきである。
  • プラットフォームの説明責任の次の段階は、明確な来歴(provenance)を伴う再現可能な観察にますます依存するようになる。

Digital Services Actのデータアクセスが実際に変えるもの

DSAは、独立した研究者が超大規模オンラインプラットフォームおよび超大規模オンライン検索エンジンを研究できる、いくつかの重要な経路を確立している。

一つは内部プラットフォームデータに関するものである。第40条のもとで、検証済み研究者は、欧州連合内のシステミックリスクを研究し、プラットフォームのリスク緩和策の有効性を評価するために必要なデータへのアクセスを求めることができる。

このプロセスは大幅に具体化されている。2025年7月、欧州委員会は研究者アクセスのための技術的条件と手続きを定めた委任行為(delegated act)を採択した。また、研究者、プラットフォーム、Digital Services Coordinators、その他の関連当局がプロセスの一部を管理できるDSAデータアクセスポータルも創設した。

内部データを求める研究者は、重要な保護措置を満たす必要がある。これには、研究組織との所属関係、商業的利害からの独立性、適切なデータセキュリティおよび機密性の措置、個人データの保護、研究資金の開示、そして研究結果を公表するというコミットメントが含まれる。

しかしDSAは、もう一つのカテゴリーの証拠も認めている。それは公開されているプラットフォームデータである。欧州委員会は、関連する条件を満たす研究者は、Digital Services Coordinatorの仲介なしに、システミックリスクの研究のために超大規模オンラインプラットフォームおよび検索エンジンから公開データにアクセスできると説明している。

この区別は重要である。内部データセットは、プラットフォームが記録したものを研究者に伝えることができる。APIは、プラットフォームがそのインターフェースを通じて公開したものを伝えることができる。透明性リポジトリは、プラットフォームが開示したものを伝えることができる。これらのいずれも、特定の画面上で、特定の国において、特定の瞬間に、欧州のユーザーが実際に何を体験したかを研究者に正確に伝えるものではない。それには観察が必要である。

X社に対する決定は、見た目以上に重要である

欧州委員会によるX社への執行措置は、この区別を異例なほど可視化している。2025年12月、欧州委員会は複数のDSA透明性違反によりX社に1億2000万ユーロの罰金を科した。その中には、研究者に公開データへの適切なアクセスを提供しなかったことが含まれていた。欧州委員会は具体的に、X社の利用規約が対象となる研究者による公開データへの独立したアクセス(スクレイピングを含む)を禁止していたこと、そしてそのプロセスがEU内のシステミックリスク研究に不必要な障壁を作り出していたことを指摘した。

次の展開は、研究方法論の観点からさらに興味深いものである。2026年7月、欧州委員会はX社が研究者の審査を改善・迅速化し、対象となる研究者に無料でアクセスを提供し、適切な量のデータを提供し、対象となる研究者が公開データのスクレイピングを契約上禁止されないよう利用規約を改定するという行動計画を受け入れた。

これは、無制限のスクレイピングに対する包括的な法的許可として解釈されるべきではない。研究者は依然として、適用されるDSAの条件、その他の法的、倫理的、プライバシー、セキュリティ上の要件の範囲内で活動する必要がある。

しかし、これは重要な原則を確立している。公開情報の独立した収集は、必ずしもプラットフォームの説明責任の外にある活動ではない。適切な条件のもとでは、それは説明責任の枠組みそのものの一部となり得る。欧州委員会は他の場所でも同様の立場をとっている。AliExpressとのDSAコミットメントにおいて、同プラットフォームは第40条(12)の基準を満たす研究者が、データスクレイピングなどの自動化された手法を通じて、システミックリスクを研究するために公開データに独立してアクセスし、利用できるようにすることに同意した。

したがって、規制上の議論は、研究者がAPIキーを受け取るかどうかという単純な問いを超えて、研究者がプラットフォームが実際に何を行っているかを独立して研究できるかどうかへと移行しつつある。

APIはプラットフォームが公開するものを伝え、観察はユーザーが体験するものを伝える

公式アクセスは依然として不可欠である。プラットフォームが保有するデータセットには、モデレーション履歴、内部分類、集計指標、システム記録、あるいは外部から再構築することが不可能な過去の情報が含まれている場合がある。研究用APIは大規模な分析を容易にすることができる。広告リポジトリは、キャンペーンに関する構造化された証拠を提供できる。透明性データベースは、モデレーション決定と執行活動に関する重要な情報を公開できる。これらはインサイドアウト(inside-out)の証拠の形態である。

しかし説明責任には、アウトサイドイン(outside-in)の証拠も必要である。

ますます重要になっている研究上の問いの種類を考えてみよう。マドリードにいるユーザーが特定のクエリを行ったとき、何が表示されるのか。ある広告はイタリアでは表示されるがオランダでは表示されないのか。政治的あるいは商業的な開示は市場間で一貫して提示されているのか。レコメンデーションのインターフェースは、欧州の異なる国から異なる出力を返すのか。モバイル体験は、デスクトップ体験が公開しない情報を公開するのか。プラットフォームの変更はEU全体で同時に展開されるのか。観察された挙動は、1日後、1週間後、1ヶ月後に再現できるのか。

これらは必ずしもデータベース内に存在するものについての問いではない。それは、誰かがシステムと相互作用するときに、システムがどのように振る舞うかについての問いである。

最も強力な研究デザインは、この二つの視点をますます組み合わせるようになるだろう。プラットフォームが報告するデータは、システムが何を記録しているかを研究者に伝える。独立した観察は、システムが何を提示しているかを確立する助けとなる。どちらも本質的に優れているわけではない。それらは異なるものを測定している。そして両者が食い違うとき、その食い違い自体が重要な研究上の発見となり得る。

地理はプロキシ設定にとどまらず、研究変数でもある

ここでインターネットインフラが研究方法論の一部となる。ウェブプラットフォームは必ずしも均一な環境ではない。地理は、可用性、広告、言語、インターフェース、検索出力、規制上の開示、製品機能、その他のオンライン体験の要素に影響を与えうる。

したがって、研究者が「これがプラットフォームが表示したものである」と言うとき、明白な次の問いが生じる。誰に、どこから表示されたのか、という問いである。

Shifterでは、位置情報はますます実験変数として扱われるべきだと考えている。当社のレジデンシャルプロキシネットワークは、195以上の国にわたるレジデンシャルIPへのアクセスを提供しており、地理的ターゲティングを用いて、制御されたインターネット観測地点を確立することができる。このインフラは、一つの接続がすべての欧州ユーザーの体験を代表していると仮定するのではなく、複数の定められた地理的位置から同一の公開されているインターフェースを観察する必要がある研究者を支援できる。

これは、レジデンシャルIPが人間のユーザーの体験のあらゆる要素を自動的に再現するという意味ではない。プラットフォームは、IPの地理情報以外にも、クッキー、アカウント履歴、言語設定、デバイスの特性、セッション状態など、多くのシグナルを考慮する可能性がある。だからこそ方法論が重要なのである。地理は、研究インフラの目に見えない属性として扱われるのではなく、それらの他の変数と併せて記録されるべきである。

規制水準の観察には、アクセスだけでなく方法論が必要である

アウトサイドインのウェブ観察が規制上の研究に貢献し始めると、証拠の水準もそれに応じて高める必要がある。「ページを開いてこれを見た」というのは方法論ではない。

厳密な観察には、他の研究者が理解し、検証し、理想的には再現できるだけの十分な文脈情報が伴われるべきである。その記録には、観察のタイムスタンプ、対象のURLまたはプラットフォームの表面、出口の国と都市、該当する場合はASNまたはISP、デバイスとブラウザのプロファイル、言語設定、認証状態、アカウントまたはセッション状態、実験条件、観察された出力、必要に応じてスクリーンショット、HTML、または構造化された証拠、再テストの結果、検証状況が含まれる可能性がある。

実質的に、研究者はウェブ観察のための来歴(provenance)の連鎖を必要としている。その記録に含まれるべき内容は、観測地点標準(vantage-point standard)のための論拠で示している。

同じ原則は、当社がインフラのベンチマークに取り組む方法にすでに影響を与えている。当社は、異なるリクエスト量、異なるマシン、異なるテスト条件を用いて二つのネットワークを比較し、その結果を意味のあるものとして扱うことはしない。テストでは、一致したリクエスト数、一貫した同時実行数と対象、制御された環境を使用する。また、テストウィンドウ中に実際に観測されたIPと、一瞬では測定できないはるかに大きな広告上のネットワーク総数とを区別している。

プラットフォームの挙動に関する研究にも同じ規律が求められる。位置情報を変更する場合は、他の変数を安定させておく。デバイスの種類を変更する場合は、地理を制御する。驚くべき結果が一度現れた場合は、それを繰り返す。差異が複数の観察にわたって持続する場合は、その差異が持続する条件を記録する。

DSAの説明責任は、測定の問題になりつつある。内部データはプラットフォームが何を記録しているかを明らかにすることができ、アウトサイドインの観察はユーザーが実際に何を体験しているかを検証することができる。最も強力な証拠は、制御され再現可能な条件のもとで、この二つを三角測量することからますます得られるようになるだろう。

スクレイピングインフラから観察インフラへ

プロキシ技術は歴史的に、かなり運用面に偏った言葉で語られてきた。どれだけのリクエストを行えるか。どれだけ速くIPアドレスをローテートできるか。どれだけ信頼性高く大規模に情報を収集できるか。

これらの問いは、多くの用途にとって依然として重要である。例えば当社のWeb Scraping APIは、公開ウェブデータの収集に関わるインフラの多くを取り除くよう設計されており、当社のSERP APIは地理的位置とデバイスにわたる構造化された検索結果を提供する。

しかし、プロキシインフラを考える別の方法もある。研究者にとって重要な能力は、単なる収集ではないかもしれない。それは制御された存在(presence)である。

研究システムは、ある観察がフランスからの接続を表し、別の観察がドイツを表し、両方が定められた時間枠内で実行され、残りの実験条件はできる限り同様に保たれた、と言えるべきである。

これにより問いは「ウェブのどれだけを収集できるか」から「ウェブが観察された条件をどれだけ信頼性高く再現できるか」へと変わる。これは非常に異なるインフラの問題である。そしてDSA研究エコシステムが成熟するにつれ、これはより重要な問題になると当社は考えている。

DSA研究スタックはどのようなものになりうるか

成熟したプラットフォーム説明責任プロジェクトが、一つの証拠源に依存することはめったにない。むしろ、研究チームは階層化されたシステムを構築することになると当社は予想している。

証拠の層提供するもの
プラットフォーム提供の証拠プラットフォームが保有または開示する情報DSAデータセット、公式API、広告リポジトリ、透明性開示
制御された観察ユーザー向けサービスからの再現可能な証拠定められた地理的観測地点、デバイスプロファイルとセッション
来歴メタデータ観察を理解し再現するために必要な文脈タイムスタンプ、国と都市、ASNまたはISP、デバイス、言語とセッション状態
比較と検証結果が孤立したものか体系的なものかを検証するテスト市場間比較、再テスト、制御された変数変更
研究ガバナンス責任ある収集と利用に関する統制データ最小化、セキュリティ統制、倫理審査、文書化された目的

レジデンシャルプロキシインフラは、主に制御された観察と来歴の層に属する。それはDSAアクセスの代替ではない。内部データセットに取って代わるものでもない。そして、あらゆる研究上の問いに答えるものでもない。その役割は、既知の外部観測地点を確立し再現する助けとなることである。

この区別は重要である。なぜなら、これはAPI対スクレイピングの議論になるべきではないからである。それは証拠の質に関する議論になるべきである。

次の透明性論争は再現可能性についてのものになる

DSAはすでに、プラットフォームが開示しなければならないものを変えつつある。次の課題は、プラットフォームの挙動に関する主張が独立して検証できるかどうかを決定することである。

あるプラットフォームが特定の開示が欧州のユーザーに表示されると言うとき、研究者はそれを再現できるだろうか。広告リポジトリがあることを報告する一方で、公開インターフェースは別のことを示しているだろうか。研究者があるメンバーステートでレコメンデーションのパターンを特定した場合、それは他の場所でも現れるだろうか。規制上の精査の後にインターフェースが変わった場合、独立した観察者はその変更がいつどこで起きたかを記録できるだろうか。

そして、ある調査が6ヶ月後に繰り返された場合、その違いがプラットフォームによるものか、位置によるものか、デバイスによるものか、研究方法によるものかを理解するのに十分な文脈的メタデータが保存されているだろうか。

これらの問いは、プラットフォームの透明性を単純な開示から再現可能性へと移行させる。これはDSAの最も重要な長期的効果の一つになるかもしれない。それは単に研究者がデータを要求できる仕組みを作るだけではない。プラットフォーム観察のより厳密な科学のための条件を作り出す助けともなっているのである。

まとめ

Digital Services Actのデータアクセスは、独立した研究者が欧州最大のオンラインプラットフォームを理解する能力における大きな改善を表している。しかし、プラットフォームが保有するデータは、あくまで一つの視点にすぎない。

デジタルシステムがユーザーにどのような影響を与えるかを理解するには、研究者はそれらのシステムを外部から、すなわち国、デバイス、セッション、インターフェース、時間にわたって観察する必要もある。

したがって、プラットフォームの説明責任の未来は、単一の証拠源を中心に構築される可能性は低い。それは三角測量、すなわちプラットフォームが記録するもの、プラットフォームが開示するもの、そして独立した研究者が再現できるものに依存することになるだろう。

Shifterでは、地理的観測地点インフラがその第三のカテゴリーにおいて有用な役割を果たしうると考えている。

規制当局と研究者が、欧州最大のプラットフォームが欧州のユーザーによってどのように体験されているかを理解したいのであれば、それらのプラットフォームが観察される場所は、技術的な脚注ではない。それは証拠の一部なのである。

本記事は一般的な情報提供のみを目的としており、法的助言を構成するものではない。

始める準備はできていますか?

Shifterのレジデンシャルプロキシをお試しください。IP 205M+件、195+カ国、$0.10/GBから。

始める