地球上のどのネットワークよりも多いユニークIPを、世界最大のレジデンシャルIPプールで提供します。それがShifterです。どのネットワークよりも多いユニークIPを、世界最大のプールで提供します。それがShifterです。

数値を見る

200が失敗になるとき: ステータスコードだけに頼らないプロキシ成功率

HTTPステータスコードに基づくプロキシ成功率が実態を過大に見せてしまう理由、書面化した合格ルールですべてのレスポンスを判定する方法、そしてチャレンジ率が注目すべき指標である理由を解説します。

Chris Collins エンジニアリング · 2026年11月1日に更新 · 6分で読めます
200200キャプチャ200200200200200200空200200ログイン200200200200キャプチャ200
すべてのタイルが200を返しました。アンバーのタイルには実際のページがありませんでした。
パフォーマンス
このページについて
  1. ステータスコードが実態を映さない理由
  2. 4つの結果と1つの成功
  3. 合格ルールの書き方
  4. チャレンジ率:ステータスコードが隠す数字
  5. 公平に数えるには
  6. 自分で計測する
  7. よくある質問

プロキシプロバイダーに成功率を尋ねると、たいていは非常に高い数字が返ってきます。その数え方を尋ねると、「レスポンスが返ったリクエスト」や「HTTP 200 を返したリクエスト」という答えが多く聞かれます。しかし、どちらもデータを取得できたかどうかを示すものではありません。

どのレジデンシャルプロキシを使う場合でも、有用な成功の定義はもっと狭いものです。求めていたものがレスポンスに含まれていた、ということです。このガイドでは、ステータスコードが成功を過大に見せてしまう理由、それを合格ルールに置き換える方法、そして結果を正直に数える方法を説明します。内容は計測に絞っています。スクレイパー内で汚染されたコンテンツや偽のコンテンツを見分ける方法については、ブロックされたコンテンツや偽のコンテンツの検出の記事をご覧ください。

ステータスコードが実態を映さない理由

HTTPステータスコードが示すのは、クライアントとサーバーの間のやり取りの状態です。そのサーバーがページを返したかどうかについては、何も示しません。防御を固めたサイトには、疑わしいリクエストにも丁寧に応答する理由が十分にあります。

  • チャレンジページ。 CAPTCHAやJavaScriptの中間ページは、ブラウザに表示させたいため、200で返されます。
  • ソフトブロック。 検索結果が0件のページ、価格が取り除かれた商品ページ、「問題が発生しました」というテンプレートなどが、いずれも200で返されます。
  • 同意ページとリダイレクトページ。 要求したコンテンツの代わりに表示される、Cookieの同意ウォールや地域別のランディングページです。
  • 誤ったコンテンツ。 対象に指定した国とは別の国のページで、問題なく解析できますが、内容は誤っています。

これらはいずれもトラフィックとして課金され、ステータスコードを見るダッシュボードでは成功として数えられます。そのため、ステータスコードベースの成功率はほぼ満点なのに、使えるページの割合はそれよりずっと低い、という状況が生まれます。

4つの結果と1つの成功

より正直な方法として、Atlasの方法論で使われている分類があります。すべてのリクエストを、次の4つの結果のいずれかに振り分けます。

  1. 合格(Pass)。 レスポンスが、そのターゲットについて書かれた条件を満たしています。要素が解析できた、JSONが想定どおりの形だった、トークンが発行された、などです。これが唯一の成功です。
  2. チャレンジ(Challenge)。 ページの代わりにCAPTCHAや中間ページが返ってきました。多くは200で返されます。
  3. ブロック(Block)。 ターゲットが明確に拒否しました。403、429、ブロックページ、またはコンテンツが届く前の接続リセットです。
  4. タイムアウト(Timeout)。 そのターゲットに設定した時間内に、使えるレスポンスが得られませんでした。プロキシゲートウェイ自体が出したエラーも含みます。

失敗をこのように分けるのは、それぞれ原因が異なるためです。ブロックとチャレンジは、主にターゲットが出口アドレスをどう見ているかを表します。タイムアウトは、主にネットワークの状態を表します。失敗件数を1つにまとめてしまうと、どの問題が起きているのかが見えなくなります。

合格ルールの書き方

合格ルールとは、人が目で確認しなくてもコードがレスポンスに対して実行できるチェックです。そのページが本物であることの証拠を明示します。よいルールはターゲットごとに具体的です。

  • 商品ページ: 価格と在庫のマークアップが存在し、解析できる。
  • 検索結果ページ: 決められた数以上のオーガニック検索結果ブロックが解析できる。
  • JSONエンドポイント: レスポンスが有効なJSONで、エラーオブジェクトではなく想定された配列を含む。
  • キューまたはセッション: トークンが発行された。
  • 静的ページ: 本文が改変されずに届いた。たとえば、既知のハッシュや長さと一致する。

各ルールは、チャレンジページが偶然通過できないほど狭く、かつ正当なレイアウト変更ですべてのリクエストが不合格にならない程度には緩く保ってください。確認するのは必要なデータがあるかどうかであり、「captcha」という単語が含まれていないことではありません。新しいチャレンジ提供元のページには、その単語が含まれていないからです。

ルールはテストの前に書き留めてください。結果を見た後で選んだルールは、特定のプロバイダーをよく見せるように調整されがちです。

チャレンジ率:ステータスコードが隠す数字

3種類の失敗のうち、チャレンジ率はどのレポートでも独立した行として載せる価値があります。これはCAPTCHAや中間ページが返されたリクエストの割合で、ブロックとは挙動が異なります。

サイトは段階的に対応を強める傾向があります。まずアドレスにチャレンジを出し、その後でブロックします。チャレンジ率の上昇は、プールが使われすぎているか、ターゲットが防御を強化したことを示す最初の兆候であることが多く、ハードブロックが増える数日前に現れます。チャレンジは200で返ってくるため、この間ステータスコードのダッシュボードには何も表示されません。

チャレンジにはコストもかかります。チャレンジページはヘッダー、マークアップ、スクリプトを含む完全なレスポンスなので、GB単位の課金プランでは本物のページと同じように料金が発生します。失敗したリクエストまで料金に含めると、どれだけ上乗せされるかは、Atlasの実コストページで確認できます。

公平に数えるには

合格ルールは分子を定めます。分母にも同じだけの注意が必要です。

  • すべての試行を数える。 クライアントがリトライする場合、各リトライも1件のリクエストです。リトライ後に測った成功率が表すのは、ネットワークではなくリトライの仕組みです。
  • タイムアウトとゲートウェイエラーを含める。 「サイトに到達しなかった」リクエストを除外すると、ネットワークに責任がある失敗をまさに取り除いてしまいます。
  • 時間帯を均等に扱う。 混雑した時間帯が閑散とした時間帯を埋もれさせてはいけません。そうしないと、よい午後が悪い夜を隠してしまいます。
  • ターゲットごとに報告する。 防御のないページと防御のあるページの平均は、どちらも正しく表しません。
  • 分母を公開する。 リクエスト数のない率は、評価できません。

自分で計測する

ご自身の用途でプロキシの成功率を計測するための、最小限の手順です。

  1. 実際にプロキシ費用を払っているターゲットを一覧にします。
  2. リクエストを送る前に、ターゲットごとに合格ルールを1つ書きます。
  3. すべてのリクエストについて、ステータス、合格ルールの判定結果、所要時間、ターゲットが見た出口アドレスを記録します。
  4. 各失敗を、チャレンジ、ブロック、タイムアウトのいずれかに分類します。
  5. 成功、チャレンジ率、ブロック率、タイムアウトを、ターゲットごとに件数を添えて別々に報告します。
  6. チャレンジ率を継続的に確認し、ステータスコードではなくチャレンジ率にアラートを設定します。

これらの数字が揃った後のアラートについては、スクレイピングパイプラインの監視の記事で扱っています。

Atlasは送信するすべてのリクエストを同じ方法で判定します。ターゲットごとに書かれた合格ルールを用い、その結果をTargetsページでターゲットごとに公開しているため、ネットワークの成功率は常に、本物のページを届けたリクエストの割合を意味します。

よくある質問

なぜHTTP 200ステータスコードが、必ずしもプロキシリクエストの成功を意味しないのでしょうか?

200は、サーバーがレスポンスを返したことを示すだけで、そのレスポンスに求めていた内容が含まれていることを示すものではありません。ページがCAPTCHA、アクセス拒否の通知、不完全なデータ、あるいはリダイレクト後の別のページである場合があります。成功を測定するには、レスポンスをタスクに必要な内容と照らし合わせて確認してください。

プロキシの成功率を正確に測定するにはどうすればよいですか?

ステータスコードではなく、各リクエストが期待どおりの結果を返したかどうかで判断します。ターゲットごとに合格ルールを書き、返されたコンテンツを確認し、タイムアウト、ブロック、不完全なレスポンスは失敗として数えます。比較に意味を持たせるため、すべてのプロバイダーに同じルールを適用してください。

CAPTCHAのチャレンジは、失敗したプロキシリクエストとして数えられますか?

目的がページやデータであれば、はい。チャレンジが出たということは、コンテンツが配信されなかったという意味です。テスト前に合格ルールを決め、毎回同じように適用してください。そうしないと、成功率は実際に受け取った量を過大に見せてしまいます。

HTTP 200を返すブロック済みの応答や使えない応答を見つけるにはどうすればよいですか。

本文に想定するページ要素やデータフィールドがあるか、アクセス拒否メッセージ、CAPTCHAの兆候、予期しない内容がないかを確認してください。必要に応じて、ページ構造を正常な応答と比較してください。一貫した確認によって、本当の結果と、成功したように見えるだけの応答を区別できます。

始める

データを含むレスポンスだけを数えましょう

Shifterのレジデンシャルネットワークで無料トライアルを始め、ご自身のターゲットに合格ルールを設定して、求めたページを届けたリクエストがどれだけあるかを確かめてください。

3日間の返金保証です。いつでもキャンセルできます。