ガイド、チュートリアル& インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
Node.jsでAxiosとGotを使ってレジデンシャルプロキシを利用する方法
Node.jsにおけるプロキシ: Axiosでhttps-proxy-agentとproxy:falseが必要な理由、Gotのagentオプション、fetch用のundiciのProxyAgent、リクエストごとのジオローテーション。
Kubernetesでレジデンシャルプロキシのスクレイピング作業をスケールする方法
Kubernetes上でスクレイピングを実行する: プロキシ認証情報をSecretsとして管理し、Downward APIでPodごとのセッションIDを付与し、キュー駆動のオートスケーリングとグレースフルシャットダウンを行う。
PHPでcURLとGuzzleを使ってレジデンシャルプロキシを利用する方法
PHPにおけるプロキシ:cURLのCURLOPT_PROXYとCURLOPT_PROXYUSERPWD、Guzzleのproxyオプション、CURLOPT_HTTPPROXYTUNNEL、そしてリクエストごとのジオローテーション。
JavaでOkHttpとApache HttpClientを使ってレジデンシャルプロキシを利用する方法
Javaにおけるプロキシ:OkHttpのproxyAuthenticatorの落とし穴、Apache HttpClientのデフォルトで5のルートごとのプール制限、エンティティの消費、そしてリクエストごとのジオローテーション。
Goでnet/httpとCollyを使ってレジデンシャルプロキシを利用する方法
Goにおけるプロキシ: トランスポートの設定、コネクション再利用を妨げるbody-drainとMaxIdleConnsPerHostの落とし穴、リクエストごとのジオローテーション、CollyのSetProxyFunc
レジデンシャルプロキシのリクエストがタイムアウトする理由
プロキシのタイムアウトに関する診断ガイド: 接続と読み取りの違い、過度に厳しいジオフィルター、データセンター向けに調整されたタイムアウト、そして本当の原因を素早く見つけるためのチェック方法について解説します。
レジデンシャルプロキシのフェイルオーバー: 信頼性の高いマルチリージョンデータパイプラインの構築
リトライは不正なリクエストに対処するものだ。フェイルオーバーは不正な依存関係に対処するものだ。ブロックの波、ジオの劣化、障害を乗り越えるプロキシ利用パイプラインの設計方法。
フライト、ホテル、旅行運賃データ収集のためのレジデンシャルプロキシ
旅行運賃は販売地点ごとに価格設定され、セッションベースで、鮮度が失われやすいものです。市場ごとに正確なフライトおよびホテルデータ収集がレジデンシャルプロキシに依存する理由。
レジデンシャルプロキシとGDPR:コンプライアンス概要
IPアドレスは個人データになり得るものであり、プロキシは何も匿名化しません。コンプライアンスチームがレジデンシャルプロキシについて実際に問うべきGDPRの疑問点です。