プロキシプロバイダーに成功率を尋ねると、たいていは非常に高い数字が返ってきます。その数え方を尋ねると、「レスポンスが返ったリクエスト」や「HTTP 200 を返したリクエスト」という答えが多く聞かれます。しかし、どちらもデータを取得できたかどうかを示すものではありません。
どのレジデンシャルプロキシを使う場合でも、有用な成功の定義はもっと狭いものです。求めていたものがレスポンスに含まれていた、ということです。このガイドでは、ステータスコードが成功を過大に見せてしまう理由、それを合格ルールに置き換える方法、そして結果を正直に数える方法を説明します。内容は計測に絞っています。スクレイパー内で汚染されたコンテンツや偽のコンテンツを見分ける方法については、ブロックされたコンテンツや偽のコンテンツの検出の記事をご覧ください。
ステータスコードが実態を映さない理由
HTTPステータスコードが示すのは、クライアントとサーバーの間のやり取りの状態です。そのサーバーがページを返したかどうかについては、何も示しません。防御を固めたサイトには、疑わしいリクエストにも丁寧に応答する理由が十分にあります。
- チャレンジページ。 CAPTCHAやJavaScriptの中間ページは、ブラウザに表示させたいため、200で返されます。
- ソフトブロック。 検索結果が0件のページ、価格が取り除かれた商品ページ、「問題が発生しました」というテンプレートなどが、いずれも200で返されます。
- 同意ページとリダイレクトページ。 要求したコンテンツの代わりに表示される、Cookieの同意ウォールや地域別のランディングページです。
- 誤ったコンテンツ。 対象に指定した国とは別の国のページで、問題なく解析できますが、内容は誤っています。
これらはいずれもトラフィックとして課金され、ステータスコードを見るダッシュボードでは成功として数えられます。そのため、ステータスコードベースの成功率はほぼ満点なのに、使えるページの割合はそれよりずっと低い、という状況が生まれます。
4つの結果と1つの成功
より正直な方法として、Atlasの方法論で使われている分類があります。すべてのリクエストを、次の4つの結果のいずれかに振り分けます。
- 合格(Pass)。 レスポンスが、そのターゲットについて書かれた条件を満たしています。要素が解析できた、JSONが想定どおりの形だった、トークンが発行された、などです。これが唯一の成功です。
- チャレンジ(Challenge)。 ページの代わりにCAPTCHAや中間ページが返ってきました。多くは200で返されます。
- ブロック(Block)。 ターゲットが明確に拒否しました。403、429、ブロックページ、またはコンテンツが届く前の接続リセットです。
- タイムアウト(Timeout)。 そのターゲットに設定した時間内に、使えるレスポンスが得られませんでした。プロキシゲートウェイ自体が出したエラーも含みます。
失敗をこのように分けるのは、それぞれ原因が異なるためです。ブロックとチャレンジは、主にターゲットが出口アドレスをどう見ているかを表します。タイムアウトは、主にネットワークの状態を表します。失敗件数を1つにまとめてしまうと、どの問題が起きているのかが見えなくなります。
合格ルールの書き方
合格ルールとは、人が目で確認しなくてもコードがレスポンスに対して実行できるチェックです。そのページが本物であることの証拠を明示します。よいルールはターゲットごとに具体的です。
- 商品ページ: 価格と在庫のマークアップが存在し、解析できる。
- 検索結果ページ: 決められた数以上のオーガニック検索結果ブロックが解析できる。
- JSONエンドポイント: レスポンスが有効なJSONで、エラーオブジェクトではなく想定された配列を含む。
- キューまたはセッション: トークンが発行された。
- 静的ページ: 本文が改変されずに届いた。たとえば、既知のハッシュや長さと一致する。
各ルールは、チャレンジページが偶然通過できないほど狭く、かつ正当なレイアウト変更ですべてのリクエストが不合格にならない程度には緩く保ってください。確認するのは必要なデータがあるかどうかであり、「captcha」という単語が含まれていないことではありません。新しいチャレンジ提供元のページには、その単語が含まれていないからです。
ルールはテストの前に書き留めてください。結果を見た後で選んだルールは、特定のプロバイダーをよく見せるように調整されがちです。
チャレンジ率:ステータスコードが隠す数字
3種類の失敗のうち、チャレンジ率はどのレポートでも独立した行として載せる価値があります。これはCAPTCHAや中間ページが返されたリクエストの割合で、ブロックとは挙動が異なります。
サイトは段階的に対応を強める傾向があります。まずアドレスにチャレンジを出し、その後でブロックします。チャレンジ率の上昇は、プールが使われすぎているか、ターゲットが防御を強化したことを示す最初の兆候であることが多く、ハードブロックが増える数日前に現れます。チャレンジは200で返ってくるため、この間ステータスコードのダッシュボードには何も表示されません。
チャレンジにはコストもかかります。チャレンジページはヘッダー、マークアップ、スクリプトを含む完全なレスポンスなので、GB単位の課金プランでは本物のページと同じように料金が発生します。失敗したリクエストまで料金に含めると、どれだけ上乗せされるかは、Atlasの実コストページで確認できます。
公平に数えるには
合格ルールは分子を定めます。分母にも同じだけの注意が必要です。
- すべての試行を数える。 クライアントがリトライする場合、各リトライも1件のリクエストです。リトライ後に測った成功率が表すのは、ネットワークではなくリトライの仕組みです。
- タイムアウトとゲートウェイエラーを含める。 「サイトに到達しなかった」リクエストを除外すると、ネットワークに責任がある失敗をまさに取り除いてしまいます。
- 時間帯を均等に扱う。 混雑した時間帯が閑散とした時間帯を埋もれさせてはいけません。そうしないと、よい午後が悪い夜を隠してしまいます。
- ターゲットごとに報告する。 防御のないページと防御のあるページの平均は、どちらも正しく表しません。
- 分母を公開する。 リクエスト数のない率は、評価できません。
自分で計測する
ご自身の用途でプロキシの成功率を計測するための、最小限の手順です。
- 実際にプロキシ費用を払っているターゲットを一覧にします。
- リクエストを送る前に、ターゲットごとに合格ルールを1つ書きます。
- すべてのリクエストについて、ステータス、合格ルールの判定結果、所要時間、ターゲットが見た出口アドレスを記録します。
- 各失敗を、チャレンジ、ブロック、タイムアウトのいずれかに分類します。
- 成功、チャレンジ率、ブロック率、タイムアウトを、ターゲットごとに件数を添えて別々に報告します。
- チャレンジ率を継続的に確認し、ステータスコードではなくチャレンジ率にアラートを設定します。
これらの数字が揃った後のアラートについては、スクレイピングパイプラインの監視の記事で扱っています。
Atlasは送信するすべてのリクエストを同じ方法で判定します。ターゲットごとに書かれた合格ルールを用い、その結果をTargetsページでターゲットごとに公開しているため、ネットワークの成功率は常に、本物のページを届けたリクエストの割合を意味します。