2人にあるキーワードの順位を尋ねると、しばしば2つの答えが返ってくるが、どちらも正しいということがある。一方はあるシティのノートパソコンからログインした状態で確認し、もう一方は別のリージョンのスマートフォンからログアウトした状態で確認する。すると検索エンジンはそれぞれに異なる結果セットを提示する。これが順位トラッキングの根底にある居心地の悪い真実だ。あるキーワードに単一の順位というものは存在しない。検索がどこで行われ、誰のために行われ、どのデバイスで行われたかを明示して初めて、順位は意味を持つ。多数のキーワードを多数の市場にわたって正確に、しかも規模を持って順位を測定するということは、実のところこれらの変数を制御し、すべての測定が比較可能になるようにすることに他ならない。レジデンシャルプロキシはその中で最も難しい変数を扱うものであり、その全体像は次のようになる。
順位を動かす変数
4つの要素が、あなたの知らないうちに結果セットを変化させる。これらを無視した数値は、データを装ったノイズにすぎない。
1つ目は場所だ。検索結果はほとんどの人が想定する以上に強くローカライズされており、特にローカルインテントを持つ検索では、シティ単位、時には地区単位にまで及ぶ。2つ目はパーソナライゼーションだ。検索者がログインしているかどうか、そして検索エンジンがどのような履歴や嗜好をその検索者に紐づけているかである。3つ目はデバイスで、モバイルとデスクトップでは意味のある形でレイアウトが異なり、時には順序自体も異なる。4つ目は時間で、検索エンジンが変更をテストし再ランキングを行うため、結果は時間ごとに変動する。これらを固定せずに測定すれば、シカゴのスマートフォンでログインした状態の数値と、ベルリンのデスクトップでログアウトした状態の数値を比較して、その差を順位変動と呼んでいることになる。信頼できる順位を得るには、それぞれの変数を既知の一貫した値に固定する必要がある。
場所:最大のレバー
場所は他のどの単一要因よりも順位を動かす。だからこそ、1つのオフィスから制御するのが最も難しい要素なのだ。検索者が目にする結果は、主にその接続がどこにあるように見えるかによって決まる。したがって、ある市場での順位を測定するには、その市場からリクエストを行う必要がある。ローカライズされたGoogle検索結果のためのレジデンシャルプロキシは、測定対象の市場に各クエリを配置し、インテントがローカルである場合にはシティレベルのターゲティングがローカルパックやマップ結果が実際に依存する精度まで絞り込む。これはリージョンによって異なる公開データにアクセスするためのジオターゲティングの正当な利用法である。あなたは各ロケーションが実際に返す順位を記録しているのであって、1つのオフィスの視点をすべての市場に投影しているわけではない。測定ごとに場所を固定し、それを保つことで、あるシティでの順位は常にそのシティでの順位となる。
パーソナライゼーション:クリーンで中立な視点から測定する
場所を固定していても、パーソナライゼーションは結果を歪めうる。ログインセッションには履歴や嗜好が紐づいており、それが順序に影響を与える。そのため、正確な順位測定はログアウトした状態で、クリーンなクッキーの状態で行われ、特定の個人向けにカスタマイズされたビューではなく、中立な検索者に近似させる。IP自体もその中立性の一部だ。履歴があるアドレス、共有されている、フラグが立てられている、あるいは検索エンジンを叩き続けているアドレスは、通常のユーザーが目にするものとは異なる歪んだ結果やチャレンジを引き起こす可能性がある。そのため、出口のレピュテーションは、リクエストが成功するかどうかだけでなく、測定そのものにとっても重要である。通常の家庭用接続として提示されるクリーンなレジデンシャルIPこそが、その場所にいる通常の、パーソナライズされていない検索者が得る結果を記録することを可能にする。中立な視点、クリーンなIP、ログアウト状態。これが比較可能な順位が測定される基準線である。
デバイスと時間:残る2つの変数
デバイスは説明するのは簡単だが、忘れやすい点でもある。モバイルとデスクトップは異なるSERPであるため、トラッキング対象を1つ選び、チェックごとに変えるのではなく、一貫して対応するユーザーエージェントを提示する必要がある。時間はより静かな要因だ。検索エンジンが再ランキングや実験を行うため、結果は一日を通して変動する。したがって単一の読み取りは誤解を招きかねないスナップショットにすぎない。一貫したスケジュールでサンプリングを行い、単一のデータポイントではなくトレンドをシグナルとして扱うこと。これは同時に、その安定した系列を生み出せるだけの信頼性でデータ収集を稼働させる必要があることも意味する。
測定を歪めずに規模を拡大する
実際の順位トラッキングプログラムは、多数のキーワード×多数のロケーション×1つか2つのデバイスをスケジュールに従ってサンプリングするものであり、その規模こそ測定品質とインフラが衝突する場所だ。あまりに少数のアドレスから送信すると、リクエストがIPごとのレート制限に引っかかり、検索エンジンはキャプチャや制限されたページ、劣化した結果を返し始める。これはまさに収集しようとしているデータそのものを損なう。SEOモニタリングのためのローテーティングレジデンシャルプロキシはクエリをプール全体に分散させ、各IPが制限内に収まり、すべての結果がクリーンに返ってくるようにする。これはあらゆる大量収集ツールの背後にあるロードバランシングのロジックであり、無制限の同時接続が存在する理由でもある。クエリ間でローテーションを行い負荷を分散させる。一方、あるチェックが1つのシーケンス内で複数の結果ページを辿る場合には、スティッキーセッションがそのウォークの間1つのIPを保持し、ページの一貫性を保つ。ブロックを引き起こすシグナルを扱い、パイプラインを監視することで収集の正確さを保つ。ある地域の成功率が静かに低下することは、何よりもまずあなたの順位履歴における欠落となる。フェイルオーバーは経路が劣化した際に系列が途切れないようにする。遅延した読み取りは古い読み取りにすぎないため、レイテンシを低く保つことは各測定が現在のSERPを反映する助けとなる。
構築か購入か、そして正しい側にとどまること
正直な整理をしておく。大規模にSERPを収集する方法は、レジデンシャルプロキシを自前のトラッカーの下のネットワーク層として使い自分で構築するか、あるいはパース済みの結果を返し取得処理を代行してくれる管理型SERP APIを購入するかのいずれかだ。どちらも有効な選択肢であり、構築パスはどの変数を固定するか、どうパースするかについて完全な制御をもたらし、購入パスはその制御の一部を運用の手間の少なさと引き換える。いずれの道を選んでも、規律は同じである。公開されている検索結果を測定し、各検索エンジンの利用規約とrobotsディレクティブを尊重し、依存しているサービスを決して劣化させないよう丁寧にクエリを行うこと。順位トラッキングは公開データに対する測定であり市場調査である。その一線を守ることこそが、このプログラムを正当なものとし続ける。
最小限のクリーンで localized なクエリ
ターゲティングはゲートウェイのユーザー名の中に存在する。国を固定し、セッションをログアウトしクリーンな状態に保ち、トラッキング対象のデバイスを提示する。
import requests
# One clean residential exit in the US market, logged-out queryPROXY = "http://customer-USERNAME-country-us:PASSWORD@p.shifter.io:443"proxies = {"http": PROXY, "https": PROXY}
DESKTOP_UA = ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/141.0.0.0 Safari/537.36")
r = requests.get( "https://www.search-engine.example/search?q=residential+proxies", proxies=proxies, timeout=20, headers={"User-Agent": DESKTOP_UA, "Accept-Language": "en-US"},)r.raise_for_status()print(r.text) # parse the result positions from here測定対象の国およびシティのターゲットにわたって同じクエリを実行し、市場ごとの全体像を構築する。各測定はクリーンなIP上でログアウトした状態を保ち、デバイスプロファイルを固定し、単一の読み取りではなくトレンドを読み取れるようスケジュールに従ってサンプリングする。一般的なクライアントのパターンは、Pythonでレジデンシャルプロキシを使うガイドから引き継がれる。
結論
あるキーワードには単一の順位というものはなく、場所ごと、検索者ごと、デバイスごと、瞬間ごとの順位が存在する。したがって正確に測定するということは、これらの変数を固定し、すべてのチェックにわたって一定に保つことを意味する。測定対象の市場からクエリを行うことで場所を固定し、クリーンなIPでログアウトすることでパーソナライゼーションを中立化し、デバイスを固定し、時間を一貫してサンプリングする。最も難しい変数である場所、そしてそれが依存するクリーンなネットワークの視点こそ、レジデンシャルプロキシがまさに提供するものだ。トラッキング対象の市場における地理的に正確な出口、通常の検索者が目にするものを返すクリーンな家庭グレードのIP、そして多数のキーワードを多数の市場にわたって、結果を歪めるであろう防御機構を引っかけることなく確実にサンプリングできるようにするローテーションとフェイルオーバーを備えた大規模なプールである。変数を制御して初めて、その数値はようやく意味を持つようになる。
そのネットワーク層こそ、レジデンシャルプロキシが提供するものであり、国やシティのターゲティングと、シーケンスが必要とする場合のスティッキーセッションを備えた、本物の家庭グレードIPの大規模なプールである。GBあたりの料金体系は、実際に実行したクエリに対してのみ支払うことを意味し、これは多数のキーワードと市場にわたって同時に広がる、小規模で頻繁なSERPチェックという順位トラッキングのワークロードに適している。