プロキシプロバイダーはどこも1ギガバイトあたりの価格を公開しており、比較表もすべてその価格で順位を付けています。しかし、それだけではネットワークを選ぶ材料としてほとんど役に立ちません。
帯域そのものを目的に買う人はいません。買っているのは成果です。価格が載った商品ページ、検索結果が表示された検索結果ページ、実際に読み込まれたプロフィールなどです。帯域は、たまたま請求書に使われている単位にすぎません。対象サイトで3回に1回失敗する$1.50/GBのネットワークは、ほとんど失敗しない$3.00/GBのネットワークよりも、成果1件あたりのコストが高くなることがあります。料金表を見ても、それはわかりません。
このガイドでは、表示価格と実際に得られた成果のコストとの間にあるものを、影響の大きくなりやすい順に整理します。失敗したリクエスト、その失敗のサイズ、対象ごとの成功率の違い、プランを実際にどれだけ使い切るか、そして細則に書かれた課金ルールです。
失敗したリクエストのコスト
プロキシ経由のリクエストが失敗しても、バイトは転送されており、その分は課金されます。ただし、失敗の種類によって性質は異なり、その違いが計算に影響します。
- チャレンジページ。 CAPTCHAやJavaScriptによるチャレンジは完全なHTTPレスポンスであり、スクリプト、フォント、画像を伴うことも少なくありません。目的のページと同じ大きさになることもあれば、それより大きくなることもあります。
- ソフトブロック。 結果がゼロ件で表示される検索ページや、価格が欠けた商品ページは、ステータスコードのチェックでは成功に見えます。多くの場合ページ全体の容量が全額課金されるうえ、得られるものは何もありません。
- ハードブロック。 短い403や429は小さなレスポンスです。リクエストの枠と多少の時間を消費しますが、バイト数はわずかです。
- タイムアウトとリセット。 接続が切れるまでに転送された分が課金されます。ハンドシェイクだけの場合もあれば、ページの大半が転送されている場合もあります。
コストが大きいのは、内容を確認するまで成功に見える失敗です。そのため、成功はステータスコードではなく、返ってきた内容で判定する必要があります。そのチェックの書き方については、成功率ガイドで説明しています。
リトライ税
リクエストのうち割合 p が成功する場合、1件の結果を得るために平均 1 ÷ p 回の試行が必要です。失敗のサイズが成功と同じ場合、表示価格に対する上乗せ分は次のとおりです。
retry tax = (1 ÷ success rate) − 1
| 成功率 | 結果1件あたりの試行回数 | リトライ税 |
|---|---|---|
| 99% | 1.01 | 1% |
| 95% | 1.05 | 5% |
| 90% | 1.11 | 11% |
| 80% | 1.25 | 25% |
| 75% | 1.33 | 33% |
| 60% | 1.67 | 67% |
| 50% | 2.00 | 100% |
| 40% | 2.50 | 150% |
| 30% | 3.33 | 233% |
重要なのは曲線の形です。99%から90%の間では、税はほとんど変わりません。80%を下回ると急激に増え、50%を下回ると、失敗にかかるコストが成果にかかるコストを上回ります。成功率が92%と84%のように近く見える2つのネットワークでも、コストの差は料金表から想像されるより大きくなります。
失敗のサイズは成功と同じではありません
単純な式は、すべての失敗が成功と同じ重さであると仮定しています。実際のトラフィックでは、そうなることはまれです。より正確には、バイト数で数えます。
bytes per result = success size + ((1 − p) ÷ p) × failure size
450 KBのページで、成功率が60%の場合を考えます。
| 失敗の内容 | 結果1件あたりのバイト数 | リトライ税 |
|---|---|---|
| 短い403、約20 KB | 463 KB | 3% |
| データのない完全なページ、約450 KB | 750 KB | 67% |
| 重いチャレンジページ、約900 KB | 1,050 KB | 133% |
成功率は同じでも、請求額は大きく異なります。同じネットワークが、あるサイトでは安く、別のサイトでは高くなるのはこのためです。どのように失敗するかは、対象サイトが決めます。望ましくないトラフィックに対してすぐに403を返すサイトでは、失敗しても安く済みます。完全なチャレンジページを返すサイトでは、失敗のコストが高くなり、こうした対応をするのは価値の高いサイトであることが多いです。
成功リクエストあたりのコスト
これらを組み合わせると、従量課金(GB単位)で比較すべき数値は次のようになります。
cost per 1,000 results =
1,000 × bytes per result ÷ 1,048,576 KB per GB × price per GB
失敗が成功と同じサイズの場合、おなじみの形に簡略化できます。
cost per 1,000 results =
(1,000 × payload in KB ÷ 1,048,576) × price per GB ÷ success rate
すべての入力値は、営業資料ではなく実測から得る必要があります。
ペイロード。 自分のトラフィックから測定してください。ページのHTMLだけの場合と、同じページを実際のブラウザーで読み込んだ場合とでは、桁違いに差が出ることがあります。ブラウザーを動かす場合は、取得される画像、スクリプト、フォントのすべてに料金がかかります。
1GBあたりの価格。 実際に利用するプランの料金を使ってください。「from」価格は、多くの購入者が到達しない階層のものであることがほとんどです。Atlasが各ネットワークの200 GBプランを使っているのは、このためです。実際のチームが購入するボリュームであり、Atlasが測定するネットワークがその価格を公開しているからです。
成功率。 自分の対象サイトで、内容チェックを行って測定してください。これは結論を最も変えやすい入力値ですが、ベンダーのトップページの数字がそのまま使われることも最も多い値です。
最も安いネットワークは対象によって変わります
ネットワークごとに成功率を1つだけ示すと、最も有用な部分が見えなくなります。成功率はネットワーク間よりも対象サイト間のほうがはるかに大きく変わるため、サイトの構成が変われば順位が逆転することがあります。
450 KBのページで価格を計算した、3つの例示ネットワークを見てみましょう。
| ネットワーク | 1GBあたりの価格 | 成功率(易しいサイト) | 成功率(難しいサイト) | 1,000件あたり(易しいサイト) | 1,000件あたり(難しいサイト) |
|---|---|---|---|---|---|
| A | $1.50 | 92% | 31% | $0.70 | $2.08 |
| B | $3.00 | 96% | 84% | $1.34 | $1.53 |
| C | $4.50 | 98% | 95% | $1.97 | $2.03 |
易しいサイトでは、AのコストはBの約半分です。難しいサイトでは、Aは3つの中で最も高くなります。料金表では常にA、B、Cの順ですが、それが正しいのは易しい対象サイトだけです。
自分のトラフィックで重み付けすれば、答えが出ます。リクエストの30%が難しいサイトの場合、Aは1,000件あたり$1.11で、Bの$1.40よりも安く済みます。難しいサイトのトラフィックがおよそ54%を超えると、2つのうちBのほうが安くなります。Cはここで挙げたどの構成でも最もコストが高くなりますが、難しいサイトではBより3分の1高いだけです。一方で、料金表上の価格はBより50%高く、Aの3倍です。
実務上の帰結は2つあります。
- 平均ではなく、自分のトラフィックで価格を計算してください。 リクエストを対象サイトごとに分け、対象ごとに成功率を測定し、ボリュームで重み付けしてコストを算出します。平均した成功率は、自分の構成が平均を作った側の構成と同じであると暗黙のうちに仮定しています。
- 構成がどう変わるかに注意してください。 チームが時間とともに追加するのは、たいてい難しい対象であり、易しい対象はまれです。現在は易しい作業で最も安いネットワークが、価格が変わらないまま、四半期後には高いネットワークになることがあります。
実際のGBあたり価格は料金表には載っていません
リクエストが1件も失敗する前から、実際に支払う1GBあたりの価格は、提示された価格と異なっている場合があります。
利用率。 レジデンシャルプロキシの多くのプランは月間の利用枠を販売しており、使わなかったトラフィックは期間の終わりに失効することがよくあります。100 GBで$300のプランは、書面上は$3.00/GBです。60 GBしか使わなければ、実際に役立った1GBあたり$5.00を支払ったことになります。実際に使う量で支払う額を比較し、未使用のトラフィックが繰り越されるかどうかも確認してください。
最低利用額。 ある量を下回ると、請求額は実際の利用量ではなく契約額で決まります。月$500の最低額が付いた半額のネットワークは、月に$200しか使わない場合、最低額のない通常料金のネットワークよりも高くなります。割引が最も有利に見える量ではなく、実際の利用量での請求額を計算してください。
トラフィックとして数えられるもの。 ネットワークは一般に、双方向のバイトを課金します。小さなリクエストでは、リクエスト自体とそのヘッダーが合計の目に見える割合を占めるようになります。ペイロードが小さい場合は、料金のわずかな差よりも、ネットワークの数え方のほうが重要になることがあります。どちらかを信頼する前に、プロバイダーのダッシュボード上の帯域と自分の集計を、1日分比較してください。
超過料金。 利用枠を超えた分は、プランより高いレートで課金されることがよくあります。利用が急増しやすい場合、実効的な1GBあたり価格は、平均的な月ではなく最も忙しい月で決まります。
その他の課金モデル
レジデンシャルトラフィックでは従量課金(GB単位)が最も一般的ですが、唯一のモデルではなく、同じ考え方が当てはまります。
- リクエスト単位。 ペイロードのサイズは関係なくなり、失敗したリクエストが課金されるかどうかが問題になります。課金される場合、結果1件あたりのコストは
price per request ÷ success rateとなり、ページの重さにかかわらずリトライ税がそのまま適用されます。成功した分だけが課金される場合は、失敗のコストをネットワーク側が負担しており、その分が価格に反映されていると考えるべきです。 - IP単位またはポート単位。 固定IPや専用IPのプランは、トラフィックではなくアクセスに価格を付けています。この場合、結果1件あたりのコストはスループットで決まります。つまり、対象サイトが拒否し始めるまでに、1つのアドレスが何件の成功リクエストを処理できるかです。アドレスあたりの価格ではなく、アドレスあたり1日の結果数を比較してください。
- 無制限プラン。 制限の単位がバイトから、スレッド数、速度、フェアユースのルールに移ります。結果1件あたりのコストは、プラン価格を、それらの制限の範囲内で実際に処理できる結果数で割った値です。制限が通常どのあたりにあるかについては、無制限プロキシガイドで説明しています。
時間もコストです
失敗したリクエストのコストはバイトだけではありません。失敗するまでにかかった時間と、再試行にかかる時間もコストです。
あるネットワークの応答が1.5秒で成功率が60%の場合、結果1件あたり平均して約2.5秒の接続時間がかかります。応答が0.9秒で成功率が95%のネットワークなら、1秒未満で済みます。毎分同じ数の結果を得るには、前者は約2.5倍の同時接続数が必要になります。スレッド、ワーカー、そしてポート単位のプランではポートも、それだけ必要になるということです。中央値ではなく遅い側の裾が、この必要量を決める理由は、レイテンシガイドで説明しています。
さらにエンジニアリングのコストがあります。4回に1回失敗するネットワークには、リトライのロジック、バックオフ、重複排除、デッドレター処理が必要で、失敗のパターンが変わったときに調査する担当者も必要です。これは人件費として継続的に発生するコストであり、1年間で見ると、2つの料金表の差より大きくなることも少なくありません。
1つの数値にまとめる
予算審査に耐えられる月額コストのモデルは、次のようになります。
monthly cost = max(minimum spend, traffic used × effective price per GB)
traffic used = sum over targets of (results needed × bytes per result)
bytes per result = success size + ((1 − success rate) ÷ success rate) × failure size
必要だった結果数で割り、各選択肢に必要なエンジニアリング時間を加えて、その値を比較してください。料金表ではなく、その値を比べます。
契約前のチェックリスト
- トラフィックを対象サイトごとに分け、それぞれのボリュームを見積もります。
- 対象ごとの成功率を、ステータスコードではなく内容チェックで測定します。
- 成功と失敗それぞれのサイズを、自分のトラフィックから測定します。
- 各候補を、実際に利用するプランで価格計算します。未使用のトラフィックや最低利用額も含めます。
- 対象ごとに1,000件あたりのコストを計算し、自分の構成で重み付けします。
- 難しい対象が増えた場合に、順位がどう変わるかを確認します。
- 各選択肢に必要なリトライ処理と同時接続数を見積もります。
- 料金表を見るのは、その後です。順位付けのためではなく、妥当性の確認として使います。
Atlasの計算方法
実質コストのページでは、Atlasが測定するすべてのネットワークについて、成功リクエストあたりのコストを料金表と並べて公開しています。順位がどこで入れ替わるかを、正確に確認できます。各数値には、そのネットワークの200 GBプランの価格と、Atlasがすべての対象サイトにわたって内容チェック付きで測定した成功率を使っています。また、請求額と同じように、失敗したリクエストに必要な再試行も数えています。最低利用額は、ネットワークではなく利用量によって決まるため、含めていません。
各数値の計算方法は方法論に記載しています。計算を検証したい場合や、自分のトラフィック構成で再計算したい場合のために、Atlasの全データセットは1つのファイルとしてダウンロードできます。