スティッキーセッションは、継続時間によって販売されています。プロバイダーは10分、30分、60分といったセッションを提供しており、購入者は最も長いログイン、チェックアウト、クロールをカバーできるものを選びます。プラン紹介ページに書かれた数字は約束のように読めますが、実際には約束ではありません。
広告されているスティッキーセッションの継続時間は、セッションが続く最長の時間です。実際にどれだけ維持されるかは出口の背後にあるデバイスによって決まり、レジデンシャルプロキシではそのデバイスは実在の個人のものです。このガイドでは、セッションが途中で終了する理由、その測定方法、Atlasでの報告方法を説明します。
スティッキーセッションとは
ローテーティングレジデンシャルプロキシでは、リクエストごと、または短いバーストごとに新しい出口IPが割り当てられます。スティッキーセッションでは、ゲートウェイに対して一定時間、同じ出口を経由してリクエストを送り続けるよう依頼します。多くの場合、プロキシのユーザー名にセッションIDを含める方法を使います。仕組み自体をおさらいしたい場合は、スティッキーセッションの用語集をご覧ください。
スティッキーセッションが存在するのは、一部のターゲットがアドレスに状態を結び付けているためです。ログイン、ショッピングカート、複数ページにわたるフォーム、ページ分割された検索結果は、途中でIPが変わると動作しなくなったり、セキュリティチェックが発動したりすることがあります。こうした作業では、問うべきは「セッションは何分続くか」ではなく、「必要な時間だけ続く頻度はどのくらいか」です。
広告された継続時間が上限である理由
ゲートウェイが同じ出口に接続し続けられるのは、その出口が存在している間だけです。レジデンシャルの出口は家庭用またはモバイル回線のデバイスであり、そうしたデバイスは頻繁に使えなくなります。
- 所有者がデバイスの電源を切る、帯域を共有しているアプリを閉じる、またはデバイスをスリープさせる。
- スマートフォンがWi-Fiからモバイル回線へ、あるいはあるネットワークから別のネットワークへ切り替わる。
- 家庭のルーターが再起動する、またはISPが世帯に新しいアドレスを割り当てる。
- ゲートウェイが、その出口は過負荷または不調であると判断し、別の出口へ移す。
これらはいずれも、セッションのタイマーとは無関係に起こります。30分のセッションでも、デバイスが8分後にオフラインになれば、セッションは8分で終わります。プロバイダーは継続時間について嘘をついているわけではなく、設定値を示しているのであり、その設定値は上限なのです。
そのため、方法論のページでも率直に述べられています。広告されたTTLは上限であり、その上限と実際に得られる時間との差は、ほとんど開示されていません。
セッションが終了する2つのパターン
出口が消えたとき、ゲートウェイは次の2つのうちどちらかの動作をします。
目に見える形で失敗する。 次のリクエストでプロキシエラー、接続のリセット、またはタイムアウトが返されます。煩わしくはありますが、コード側で何かが起きたことが分かり、新しいセッションを開始できます。
気付かないうちに切り替える。 ゲートウェイは、同じセッションIDのままエラーも出さずに、次のリクエストを別の出口経由で送って処理を続けます。コードは同じアドレスのままだと考えていますが、ターゲットからはセッションの途中で新しいIPが見えています。その結果、ログインが解除される、カートが空になる、アカウントにフラグが立てられるといった事態が起こります。
気付かないうちに切り替わるケースのほうが被害は大きくなります。レスポンスのどこにも、それが起きたことを示すものがないためです。見つける唯一の方法は、リクエストのたびに出口IPを自分で確認し、セッション開始時のIPと照合することです。
維持率:重要な指標
継続時間が上限である以上、スティッキー製品を表す指標は維持率です。これは、広告された継続時間の全体にわたって同じ出口IPを保ったセッションの割合を指します。
たとえば、30分のセッションを100回開いたとします。そのうち85回が30分間ずっと開始時のIPを保てば、維持率は85%です。残りの15回は、エラーとして表面化したか、気付かないうちに切り替わったかにかかわらず、途中で終了したことになります。広告されている継続時間が同じでも、維持率はプロバイダーによって大きく異なることがあり、やり直さなければならないセッションの数を予測できるのは維持率のほうです。
Atlasは、ローテーティング製品と同じテストスイートに加えてTTL検証を使ってスティッキーのレジデンシャル製品をテストします。各セッションを広告された継続時間いっぱいまで保持し、ターゲットから見えた出口IPが最後まで維持されたかどうかを記録します。セッションの設定は各プロバイダーのデフォルトのままにしているため、この数値は販売されている状態の製品を表しています。結果は並べて比較するページに「維持されたスティッキーセッション」として表示されます。この値は最新の完全な評価から取得されるため、どの期間を選んでも同じ値が表示され、未測定のネットワークについてはゼロとして数えず、N/Aと表示します。
維持率の読み方
維持率を役立てるには、少し背景を踏まえる必要があります。
依頼する継続時間に左右されます。 セッションが長いほどデバイスが離脱する時間も増えるため、同じネットワークでは、60分での維持率は通常10分での維持率より低くなります。比較は同じ条件どうしで行ってください。
長いより短いほうが良いことが多いです。 作業に5分しか必要ないなら、それよりあまり長くないセッションを依頼してください。作業が終わった後の長いセッションは何の利点もなく、信頼性が下がっていくかもしれない出口にとどまり続けることになります。
ロケーションによってプールが狭まります。 小さな都市に固定したセッションは、開始時に選べるデバイスが少なく、1台が切れたときにゲートウェイが取れる選択肢も少なくなります。維持率は国によって異なると考えてください。
ローテーションの挙動とは別のものです。 Atlasは、ローテーティング製品についても出口IPあたりのリクエスト数を報告しており、これは「ローテーティング」の出口が実際にどのくらいの間とどまるかを示します。これは別の問いであり、ローテーションが本来のタイミングで起きるかどうかを見るもので、セッションが本来の時間だけ維持されるかどうかを見る維持率とは異なります。
途中終了に耐えるジョブの設計
維持率が高くても、一部のセッションは途中で終了します。そのことを前提に設計してください。
- リクエストごとに出口IPを確認します。 セッション開始時のIPと比較してください。変化があれば、ステータスコードが何であれ、セッションが終了したことを意味します。
- 各セッションでの作業を短く保ちます。 長い一連の流れは、再開可能なステップに分割してください。ステップが短いほど、セッションが切れたときの損失は小さくなります。
- 状態を随時保存します。 Cookie、トークン、現在のページはセッションをまたいで保持し、新しいセッションが前のセッションの続きから再開できるようにしてください。
- 最大値ではなく、必要な継続時間を依頼します。 より新しい出口にとどまれるため、実際の維持率も高くなります。
- きれいに再開します。 セッションが終了したら、古いセッションIDで再試行せず、新しいセッションIDを開いてください。
ログインを多用する作業については、ログインが必要なサイトのスクレイピングで、アカウントをセッションに固定する方法やCookieを維持する方法を詳しく扱っています。そもそもその作業にスティッキーセッションが必要かどうかを検討中の場合は、スティッキーとローテーティングのレジデンシャルプロキシの比較でトレードオフを解説しています。
プロバイダーのスティッキーセッションを自分でテストする
- 使う予定の継続時間で、少なくとも50回のスティッキーセッションを開きます。混雑する時間帯と空いている時間帯の両方が含まれるよう、1日にわたって分散させてください。
- 各セッションで、受け取ったIPをそのまま返すエンドポイントに、1分ごとに軽いリクエストを送ります。
- 開始時のIPと、返されたIPが最初に変わった、またはリクエストが最初に失敗した時点(何分目か)を記録します。
- 継続時間の全体にわたって開始時のIPを保ったセッションを数えます。その割合があなたの維持率です。
- 各分の時点で生き残ったセッションの数をグラフにします。その形から、セッションが一定のペースで失敗しているのか、特定の時点で急に脱落しているのかが分かります。
そのうえで、同じプロバイダーについてのAtlasの数値と、ご自身の結果を並べて見てください。両者が食い違う場合、その理由は、テストした継続時間、ロケーション、時間帯のいずれかであることがほとんどです。