どの言語モデルにも知識のエッジ(境界)があり、興味深い問題はそのエッジが存在すること自体ではなく、モデルがそれを感知できないことにある。先週変化した何かについて尋ねても、10年前から定まっている事柄と同じ自信のある口調で回答が返ってくる。チャットインターフェースであればこれは扱いやすい厄介事にとどまる。だが誰かに代わって行動を取るエージェントにとっては、これはアーキテクチャ全体が防ごうとしているまさにその失敗モードである。
検索アクセスが標準的な回答だが、それが実際に解決すること、そして解決しないことを正確に見極める価値がある。
検索アクセスがエージェントにもたらすもの
3つあり、それぞれ異なる量のエンジニアリングを正当化するものなので、分けて考える価値がある。
最新性。 訓練後に変化した事実、価格、在庫、誰がどの地位にあるか、企業が何を発表したか、サービスが稼働しているかどうか。これは明白なものだ。
網羅性。 日付にかかわらず訓練データでうまく表現されていなかったロングテールの詳細情報。検索は、モデルのパラメータよりもはるかに優れた、あまり知られていない事柄のインデックスである。
検証可能性。 エージェントが引用でき、ユーザーが確認できる出典。重要な事柄については、これは最新性よりも重要である。なぜなら価値は正しい答えだけでなく、追跡可能な答えにもあり、それこそがエージェントの出力を信頼するだけのものではなく、レビュー可能なものにする要素だからだ。
この3番目の点があるからこそ、「モデルが答えればいい」というのは、モデルが正しい場合でも不十分なのである。引用するエージェントは検証可能であり、断定するだけのエージェントはそうではない。
エージェントに検索させるのではなく、SERP APIを使う理由
エージェントにブラウザを持たせて検索するよう指示することもできる。それは合理的な発想だが、本番環境では偶発的というより構造的な理由で著しく劣化する。
脆弱性。 検索結果ページのレイアウトは変化し、HTMLを解析するエージェントはその変化時に静かに壊れる。この失敗はエラーとしてではなく、エージェントが何も見つけられないという形で現れる。これは自律的であるべきシステムのバグとしては最悪の形だ。
レイテンシー。 ページのレンダリング、スクリプトの待機、テキストの抽出には、ユーザーの1つのリクエストに対して複数回実行されうるループの中で数秒を要する。構造化された結果は1回の呼び出しで到着し、複数ステップのエージェントにとってはこれが使えるかどうかの分かれ目になる。このレイテンシーの仕組みについてはレイテンシーの削減で述べている。
トークンコスト。 生のHTMLをコンテキストウィンドウに入れることはコストが高く、大部分がノイズである。解析済みのタイトル、スニペット、URLは、より多くの信号に対してトークンのごく一部で済む。
ブロッキング。 自動化されたブラウジングは検知され、キャプチャに遭遇したエージェントには良い手立てがない。これはウェブを閲覧するAIエージェントに最適なプロキシで説明されているのと同じアクセスの問題であり、SERP APIは収集作業を他者の問題にし、構造化されたデータを返すことでこれを解決する。
エージェント構築者が最終的に辿り着く一般原則は、ツールは構造化された予測可能な出力を返すべきだということだ。なぜなら、形が変わってしまうツールは、モデルが確実に推論できないツールだからである。
ツールを呼び出すだけでなく、設計する
エージェントの検索動作の品質は、基盤となるデータソースよりもツール設計に大きく依存する。
少数の結果を、良質に返す。 スニペット付きの10件の結果は、同じ情報量の5件よりも通常劣る。コンテキストは有限であり、推論には精度が再現率に勝るからだ。必要であればエージェントが明示的にもっと要求できるようにする。
位置情報と言語をパラメータとして公開する。 検索結果は市場によって異なるため、ドイツのユーザーに答えるエージェントは、まるで自分がドイツにいるかのように検索すべきだ。そうしなければ、他の国でのみ真である事柄を自信を持って報告してしまう。これは、この分野の他のあらゆる事柄に通底する地理的要件と同じものであり、微妙に間違ったエージェントの回答のよくある原因である。
モデルが推論できるメタデータを返す。 URL、そして可能であれば公開日は、モデルが出典を比較検討できるようにし、リスト記事を一次資料と同等に扱うことを防ぐ。
インターフェースを安定させる。 結果の形が変われば、それに合わせて調整されたプロンプトの挙動も変わってしまう。
誠実な限界
検索アクセスは真実の神託ではなく、そうでないかのように装うことは別種の自信過剰な誤りを生む。
ランキングは関連性であり、正確性ではない。 上位にランクされたページは人気があり、最適化が行き届き、トピック的に一致している。そのいずれも正確性を保証するものではなく、順位を権威と見なすエージェントは、SEOを事実として洗い流してしまう。
スニペットは文脈を失う。 断片は、それが引用元とするページの意味を反転させることがある。主張が重要であるなら、エージェントはスニペットから推論するのではなく、ページを取得すべきである。ここで、検索ツールと並んでレジデンシャルプロキシのような汎用の収集レイヤーが必要になる。
検索結果自体もスナップショットである。 検索結果は個人化され、地域化され、時間ごとに変化するため、同じエージェントの2回の実行結果が正当に異なることがある。クエリと結果を回答と共に記録しなければ、エージェントがなぜそう言ったのかを再構築できない。
リアルタイム性には予算がある。 検索1回ごとにループ内でレイテンシーとコストがかかるため、反射的に検索するエージェントは遅く、コストがかかる。設計上の問いは「いつ検索するか」であり、合理的な既定値は、答えが現在の事実に依存する場合、モデルが曖昧になりがちな詳細に依存する場合、または引用が必要な場合に検索し、それ以外では検索しないことである。
この先の方向性
より大きな変化として指摘すべきは、ウェブが人よりもエージェントによって読まれることが増えており、それがインフラが提供すべきものを変えているということだ。これはウェブ上のAIエージェントで取り上げているテーマであり、これは双方向に作用する。エージェントは公開情報への信頼できる構造化アクセスを必要とし、パブリッシャーはそのアクセスが節度あるものであり、無差別なものでないことを必要とする。
構築者にとっての実際的な意味は、検索アクセスが統合プロジェクトではなく標準的な構成要素になりつつあるということであり、差別化は、エージェントがいつ検索すべきかをどれだけうまく判断するか、見つけたものをどう比較検討するか、そしてその過程を示せるかどうかに移っていく。
結論
検索アクセスを持たないエージェントは、自分の知識のエッジを超えた質問に対しても、エッジ内の質問と同じ自信を持って答えてしまう。これはまさに自律性が危険にしてしまう振る舞いである。検索アクセスは最新性、網羅性、そして最も重要な検証可能性をもたらす。引用するエージェントは検証可能であり、断定するだけのエージェントはそうではないからだ。ブラウジングするエージェントよりも構造化されたAPIを選ぶべきだ。HTMLの解析は脆弱で、遅く、トークンコストが高く、ブロッキングされやすい上に、予測不能な形を返すツールはモデルがうまく推論できないツールだからである。ツールは意図的に設計すること。メタデータ付きの少数の結果、パラメータとしての位置情報と言語、安定したインターフェース。そして限界を見失わないこと。ランキングは真実ではなく関連性であり、スニペットは文脈を失い、結果はログに記録する価値のあるスナップショットであり、検索1回ごとにループの中でレイテンシーとコストがかかる。
そのレイヤーを構築するのであれば、SERP APIは位置情報処理を含む解析済みの結果を返し、その背後にあるページを取得するには、GB単位の価格設定のレジデンシャルプロキシが、検索後にエージェントが行う取得作業をカバーする。