本日、次世代版のShifter Residential Proxiesを提供開始します。これはオリジナルのレジデンシャルゲートウェイをローンチして以来、製品にとって最大の変更であり、1年分の顧客からのフィードバックを、大規模なプロキシトラフィックの本番運用体験を実質的に改善する3つのポイントに集約したものです。
お急ぎの方向けの要約:エンドポイントは1つ、料金はGB単位、国、地域、都市、ASNによるターゲティングが追加料金なしで全プランで利用可能になり、IPプールは31M以上から205M以上のレジデンシャルIP(195以上の国をカバー)へと拡大しました。速度も全体的に向上しています。
この記事の残りの部分では、何が変わったのか、なぜ変わったのか、そして既存の顧客が知っておくべきことについて説明します。
変更点を一画面で
統合されたゲートウェイが1つに。 単一のエンドポイント、p.shifter.io:443です。すべてのリクエスト、すべての国、すべてのセッションで、同じホスト、同じポートを使用します。ターゲティングの指定はリクエスト時にユーザー名の文字列にエンコードされるため、プラン固有のサブドメインやポートごとの割り当てを管理する必要はありません。
全プランで帯域幅ベースの料金体系に。 実際に転送したデータ量に対して料金が発生します。ポートも、リクエストごとの課金も、同時接続数の上限もありません。プランは大規模利用時で$1.00/GBから始まります。詳細な料金体系は料金ページをご覧ください。
すべてのプランで都市・ASNターゲティングが可能に。 かつてはエンタープライズ向け機能だったものが、追加料金なしで全プランに含まれるようになりました。私たちがカバーしているどの都市経由でもルーティングでき(ほとんどの都市が対象です、詳細はLocationsを参照)、あるいは特定のASNに限定することも、ユーザー名にクエリ形式のフラグを1つ追加するだけで可能です。
これら3つの変更は私たちの中では密接に結びついています。1つのアーキテクチャの再構築の結果であって、3つの独立した製品判断ではありません。しかし利用者側で変わったのはこの点です。よりシンプルなエンドポイント、よりシンプルな請求、そしてこの価格帯でほとんどのチームが期待していた以上の精度です。
なぜ1つのゲートウェイなのか
数年前にローンチしたオリジナルのレジデンシャル製品は、ポートベースのプランを採用していました。100ポートを購入すると、それぞれに50の同時接続が付与され、各ポートに独自のhost:portのペアがある、という仕組みです。これは当時としては妥当なモデルであり、私たちにとっても、その上に本格的なインフラを構築していた顧客にとっても、長年にわたってうまく機能していました。
しかし2つの変化が起こり、ポートモデルが適切な基盤ではなくなりました。
プールが十分に大きくなり、同時接続数が制約要因ではなくなった。 プールに205MのIPがある状況では、「ネットワークは5,000の同時接続を処理できるか」という問いはもはや興味深いものではありません。答えはイエスです。興味深い問いは、どのIPを、どの地域で、どのようなセッション挙動で使うか、というものであり、ポートはこうした問いに答える助けにはなりませんでした。
ワークロードがより動的になった。 現代のデータパイプラインは、100個の定常的なスクレイパーを1か月間動かし続けるようなものではありません。Webhookやスケジュールによってトリガーされるバースト的なファンアウトが発生し、同時接続数は数時間の間に1から1,000まで変動します。静的なポート割り当てでは、こうしたバーストへの対応が不十分になるか、逆にアイドル状態の容量に対して過剰に課金するかのいずれかでした。
統合ゲートウェイは、この両方に答えます。1つのエンドポイント、エッジで解析されるターゲティング、同時接続数の上限なし。リクエスト時に適切なプールからIPを割り当て、ルーティングし、返す。顧客側のメンタルモデルはよりシンプルになります。1つのURL、1つの認証、1組の資格情報、1枚の請求書です。
なぜ帯域幅ベースの料金なのか
この変更のこの部分が最も重要であり、最も説明しやすい部分です。実際に消費するのは帯域幅です。ポートは帯域幅、つまり同時接続数×スループットの代理指標(この言葉の別の意味で)にすぎませんでした。帯域幅こそが基盤となる物理的なリソースです。基盤となるリソースに対して課金することで、請求が実態と一致します。
具体的には、新しい料金体系では以下のようになります。
- 帯域幅の割り当てを購入します。例えば中間層で月100GBです。
- それをどのように使ってもかまいません。100GBのファイルをストリーミングする1回のリクエストでも、それぞれ1KBのAPIレスポンスを取得する1億回のリクエストでも構いません。
- 同時接続数、リクエストレート、ポート数のいずれにも上限がありません。
- 超過分はウォレットからの従量課金にロールオーバーされ、月の途中でプランをアップグレードする必要はありません。
ほとんどのチームにとって、これは利用量の予測方法を劇的に変えます。「来月どれだけのデータを転送するか」は、大まかな計算で答えられる問いです。一方「何ポート必要か」は、数週間ワークロードを実際に稼働させてみて初めて経験的に答えられる問いでした。
ポートプランを利用中で移行を検討している場合は、サポートチームが利用履歴を取得し、相当する帯域幅プランがどのようなものになるかを一緒に確認します。hi@shifter.ioまでご連絡いただければ、一緒に数字を計算します。
なぜ都市・ASNターゲティングをあらゆる場所で提供するのか
国レベルのターゲティングが解決するのは小さな問題です。都市レベル、ASNレベルのターゲティングは、実際に私たちの収益を支えているワークロードにとって、はるかに大きな問題を解決します。
米国の各都市でeコマース価格を監視するチームには、都市単位の精度が必要です。アマゾンのニューヨーク、ロサンゼルス、シカゴ、ヒューストン、マイアミでの価格はそれぞれ異なり、国レベルのプロキシではそのうちの1つが返されるだけで、どれなのか知る方法がありません。広告掲載を検証するチームは、サンフランシスコで配信された広告に実際にサンフランシスコ向けのクリエイティブが含まれているかを確認する必要があります。フードデリバリーをスクレイピングするチームは、DoorDashの各マーケットを個別に取得する必要があります。
かつてエンタープライズ契約の背後に隠されていた機能が、今ではすべてのプランに含まれています。理由はシンプルです。特定の都市のIPを経由してリクエストをルーティングするコストは、国のIPを経由する場合と変わりません。顧客側のゲートは技術的な判断ではなく、課金上の判断でした。私たちはそのゲートを取り払いました。
ASNターゲティングも同様です。特定のISP、例えばComcast(AS7922)、Verizon(AS701)、BT(AS2856)が必要な場合は、ユーザー名に-asn-<number>を追加すれば、そこにトラフィックがルーティングされます。追加料金も、追加プランも必要ありません。
ジオフラグの全セットは以下の通りです。
customer-USERNAME-country-us # countrycustomer-USERNAME-country-us-region-california # state/regioncustomer-USERNAME-country-us-city-new_york # citycustomer-USERNAME-country-us-asn-7922 # ASN (Comcast)customer-USERNAME-country-us-strict-true # fail if no exact matchこれらは自由に組み合わせられます。country + city、country + asn、あるいは4つすべてを組み合わせることもできます。ゲートウェイが解析してルーティングします。
既存顧客が行うべきこと
従来のポートベースのプランをご利用の場合、プランおよび既存のポートベースの認証情報は引き続き使用できます。新しいゲートウェイは異なる料金モデル(ポートではなく帯域幅)を採用しています。切り替えに手数料はかからず、既存顧客向けの割引もご用意しています。サポートにお問い合わせいただければ、ご利用状況に応じた適切な移行プランと価格をご案内します。
新規のお客様は、そのままサインアップするだけです。新しいゲートウェイがデフォルトとなります。料金はResidential Proxiesの料金ページに、完全なドキュメントは/docs/products/residential-proxiesに掲載されています。
今後について
今回のローンチは、約1年間にわたる作業のうち目に見える部分にすぎません。目に見えにくい部分は運用面です。リクエストごとの挙動に対するより優れた可観測性、帯域幅やセッションの指標に関するより優れたダッシュボード、より多くの言語に対応したより優れたSDKなどです。その一部はすでに提供済みで、さらに多くが控えています。興味深い部分についてはリリースされ次第、記事にしていきます。
その間にも、新しいResidential Proxiesはすでに稼働しています。料金、ドキュメント、サインアップへのリンクはすべて上記の通りです。都市レベルの精度の価格が下がるのを待っていた方には、まさに今それが実現しました。ポートがなくなるのを待っていた方には、なくなってはいませんが、もう気にする必要はありません。そして今日ゼロから始める方には、ようこそ。行き詰まった際は、hi@shifter.ioのチャットでチームがサポートします。