10年前は、「ウェブ」と「オープンウェブ」はほぼ同じものだった。URLを入力すれば、HTMLが返ってきて、それを読む。検索エンジンはそれをインデックスした。研究者はそれを引用した。アグリゲーターはそれを表示した。そこには公開されたアドレス空間があり、公開されたプロトコルがあり、そこにあるものは到達可能だという既定の前提があった。
それは何年もかけて静かに侵食されてきた。それがどこに行き着いたのかをはっきり言葉にしておく価値がある。次世代のデータプロダクトにとって、その影響は大きいからだ。
「オープン」が意味していたもの
2010年代初頭のオープンウェブには、私たちがほとんど当然のものとして扱っていた3つの特性があった。
到達可能性。 ページにはURLがあった。URLを取得すればページが返ってきた。ページには他のページへのリンクがあり、そこにもURLがあった。グラフは辿ることができた。
表示可能性。 URLへのリクエストはHTML、あるいはそれに近いものを返した。JavaScriptを実行せずに読むこともできたし、JavaScriptを実行しても見た目以外は同じ内容が得られた。
アイデンティティの安定性。 先週存在していたページは、おそらく今日も同じURLに、似た内容で存在していた。それを引用できた。それを確認できた。
これらの特性は、今日ではどれも保証されていない。
オープンウェブを食い尽くしたもの
いくつかの力が、ほぼ並行して、それぞれ個別には合理的な動機を持って働いてきた。
ペイウォール。 報道機関は収益を必要としていた。主要メディアの多くが、すべてのコンテンツの前に厳格な、あるいは段階的なペイウォールを設けた。コンテンツはそのURLに依然として存在するが、アカウントとクレジットカードなしには読めない。検索エンジンには、ログアウトした人間とは異なるバージョンが見えている。
ログインウォール。 ソーシャルプラットフォームは以前、オープンウェブから到達可能だった。2014年には、アカウントなしでTwitterのスレッドを読むことができた。今日では、LinkedIn、X、Instagram、Reddit(断続的に)、Facebookの大部分がゲート化されている。コンテンツはまだそこにあるが、URLはもうそこに解決しない。
アプリ優先。 コンテンツの割合の増加が、ウェブ上に相当物を持たないアプリの中に存在している。TikTokや、垂直分野に特化したアプリの長い列がそうだ。URLはない。ページはない。コンテンツは閉じたランタイムの中にしか存在しない。
アンチスクレイピング。 URLがまだ機能していても、その背後にあるコンテンツは、Cloudflare、Akamai、そして十数社の専門業者によってますます守られている。そのページは家庭のビジターには正常に表示され、それ以外の全員にはCAPTCHAチャレンジを返す。
パーソナライゼーション。 同じように見えるページが、実際には同じではない。主要なEコマースサイトで目にする商品リストは、あなたの位置情報、閲覧履歴、推測された所得層、A/Bテストのバケットに応じてパーソナライズされている。もはや正典となるバージョンは存在しない。訪問者ごとのバージョンが存在するだけだ。
これらのそれぞれには、合理的な擁護者がいる。どれも逆転することはないだろう。その結果として、オープンウェブは以前よりも小さく、より断片化しており、パブリックウェブを代表的なデータセットとみなすコストは上昇している。
AIが賭け金を上げる理由
前の時代には、オープンウェブは主に個々のページを読む人間と、それをインデックスする検索エンジンによって消費されていた。個々のページの経済的価値は比較的低かった。
それは変わった。現代のAIシステムは、ウェブを3つの異なる形で自分たちのデータセットとして扱う。
トレーニング。 フロンティアモデルは、ウェブ規模のコーパスで訓練される。そのコーパスの構成が、モデルが何を知っていて、どのように質問に答えるかを決定する。
グラウンディング(検索拡張生成)。 最新の情報、日付、価格、ニュース、規制の更新を必要とする本番システムは、推論時にライブのウェブから検索を行う。検索対象は、実際のHTMLを返す実際のURLだ。
エージェント型ブラウジング。 新しいクラスのAIシステムが、ユーザーに代わってウェブをナビゲートし、フライトを予約し、価格を比較し、フォームに入力する。これらのシステムは実際のページにアクセスし、それらが正しく表示されることを必要とする。
これら3つのケースすべてにおいて、オープンウェブが直接提供できるかどうかが、AIシステムが何をできるかを直接決定する。ページがペイウォールの背後にある、ログインの背後にある、あるいはアプリの中でしか表示されない場合、それは機能的にAIレイヤーにとって存在しないことになる。ボットに人間とは異なる形で提供されている場合、AIは劣化したバージョンを見ることになる。ネットワークレイヤーでブロックされている場合、AIは何も見ない。
不完全なオープンウェブのコストは、AIレイヤーで複利的に増大する。AIはアクセスを乗数化するからだ。かつては、ひとつの失敗したスクレイピングは、欠落したデータポイントに過ぎなかった。今日では、同じ欠落が、100万件のモデルの応答の中に現れる。
インフラがこれと何の関係があるのか
プロキシネットワークは、この問題のひとつの側面に対する、地味な配管レイヤーの答えだ。ペイウォールを解決するわけではなく、アプリのロックを解除するわけでもなく、アンチボットベンダーに反撃するわけでもない。それがすることは、代表的なアクセスの度合いを回復させることだ。つまり、実在するレジデンシャル接続から、実在する地理から、実在するネットワークレピュテーションを持ってリクエストが発信されるようにすることで、まだオープンなオープンウェブの部分が、実際にそのリクエストに対して開かれるようにすることだ。
これはより大きな問題に対する狭い修正だ。私たちはそれを別のものであるかのように装うつもりはない。「オープンウェブをどうすれば機能させ続けられるか」という問いへの完全な答えは、規制上の圧力、公共インフラへの投資、パーソナライゼーションとゲート化に関する透明性要件、そしてAI消費の時代において「公開されている」とはどういう意味であるべきかについての一般的な再検討を必要とするだろう。そのどれも、今年中に決着がつくことはない。
その間、まだ公開されているウェブの部分は、それに到達する必要のあるシステムにとって、実際に到達可能であるべきだ。それが私たちが取り組んでいる小さな部分であり、それが私たちのレジデンシャルネットワークへの最新の投資ラウンドを主に動機づけた小さな部分だ。
正直なところ
より到達可能なオープンウェブは、AIのグラウンディングにとって良いものであり、研究にとって良いものであり、ジャーナリズムにとって良いものであり、価格の透明性にとって良いものであり、消費者の選択にとって良いものであり、ゲート化から直接レント(超過利益)を得ている事業体を除けば、ほぼ誰にとっても良いものだ。トレンドラインはそれに逆らって進んでいる。私たちが出荷するものは何も、そのトレンドを逆転させることはない。
私たちにできること、そしてより広いインフラレイヤーにできることは、まだ公開されているウェブの部分が、それを必要とするシステムにとって到達可能な状態を保つことだ。それは「オープンウェブを救う」よりも小さな目標だ。しかし、それは達成可能であり、AIがウェブが提供するものの主要な消費者になるにつれて、年々その重要性は増していく。