ガイド、チュートリアル& インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
レジデンシャルプロキシのローテーションが実際にどう機能するか
ゲートウェイは、実在する家庭回線のライブプールから出口IPを割り当て、セッショントークンとTTLによって制御され、CGNATとデバイスの入れ替わりによって制約を受ける。
15のレジデンシャルプロキシネットワークを1,560万リクエストでベンチマークした方法
Shifterプロキシベンチマークシリーズの全手法を公開:1台のマシン、同一のリクエスト量、5カ国、15のネットワーク。結果、失敗、そして数字が意味すること。
プロキシネットワークの代替候補:22社を実際に比較する方法
プール規模、ネットワークの広がり、GBあたりの価格、実際のコミットメントという観点でレジデンシャルプロキシの代替候補を比較する実践ガイド。22社分の測定データを掲載。
15社のレジデンシャルプロキシプロバイダーを、同一テストでランク付け
主要なレジデンシャルプロキシネットワークすべてを、プールの規模、ネットワークの分散、価格、応答時間といった測定データに基づき、同一テストでランク付け。15社の完全なスコアを掲載。
厳重に保護されたサイトをスクレイピングする方法:プレーンリクエストからフルステルスまでのエスカレーションラダー
すべてのスクレイピングを最大ステルスで実行する必要はない。労力をターゲットに合わせ、プレーンなクライアントとクリーンなIPから始め、サイトがそれを強制する場合にのみ段階を上げること。
ログインが必要なサイトをスクレイピングする方法:セッション、Cookie、そして大規模なスティッキープロキシ
ログインの背後でのスクレイピングは、ローテーションではなくアイデンティティの問題である。セッションCookieを維持し、各アカウントを1つのクリーンなスティッキーIPに固定し、BANされることなくログイン状態を保つこと。
スクレイパーがページを読み込む前にブロックされる理由:TLSとHTTP/2フィンガープリンティング
クリーンなレジデンシャルIP、本物のUser-Agentなのに、それでも即座にブロックされる?アンチボットはリクエストが読まれる前に、TLSとHTTP/2の層でHTTPクライアントをフィンガープリントしている。
アンチデテクトブラウザとは何か、レジデンシャルプロキシがどう関わるか
アンチデテクトブラウザは、プロファイルごとに独自のデバイスフィンガープリントを与える。しかし、それはアイデンティティの半分にすぎず、IPがもう半分であり、両者は一致していなければならない。
Scrapyでカスタムミドルウェアを使ってレジデンシャルプロキシをローテーションする方法
Scrapyはmeta経由でプロキシを設定するが、Proxy-Authorizationのキャッシュに関する問題がローテーションを崩してしまう。IDをローテーションし、ブロック時にリトライするカスタムミドルウェアを紹介する。