ガイド、チュートリアル& インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
自動ウォレットチャージ機能の導入
しきい値とチャージ額を設定すれば、Shifterウォレットが自動的にチャージされるため、使用量に応じた課金でプロキシが停止することはありません。月間上限の設定も、いつでもオフにすることも可能です。
Node.jsでAxiosとGotを使ってレジデンシャルプロキシを利用する方法
Node.jsにおけるプロキシ: Axiosでhttps-proxy-agentとproxy:falseが必要な理由、Gotのagentオプション、fetch用のundiciのProxyAgent、リクエストごとのジオローテーション。
Kubernetesでレジデンシャルプロキシのスクレイピング作業をスケールする方法
Kubernetes上でスクレイピングを実行する: プロキシ認証情報をSecretsとして管理し、Downward APIでPodごとのセッションIDを付与し、キュー駆動のオートスケーリングとグレースフルシャットダウンを行う。
ウェブスクレイピングのベストプラクティス:スクレイピング対象のサイトに損害を与えずにデータを収集する方法
責任あるウェブスクレイピング:robots.txtを尊重し、レート制限を設け、429エラー時にはバックオフし、キャッシュを活用し、オフピーク時にスクレイピングを行うこと。良き実践者であることは、ブロックされる頻度を大幅に減らすことにもつながる。
PHPでcURLとGuzzleを使ってレジデンシャルプロキシを利用する方法
PHPにおけるプロキシ:cURLのCURLOPT_PROXYとCURLOPT_PROXYUSERPWD、Guzzleのproxyオプション、CURLOPT_HTTPPROXYTUNNEL、そしてリクエストごとのジオローテーション。
JavaでOkHttpとApache HttpClientを使ってレジデンシャルプロキシを利用する方法
Javaにおけるプロキシ:OkHttpのproxyAuthenticatorの落とし穴、Apache HttpClientのデフォルトで5のルートごとのプール制限、エンティティの消費、そしてリクエストごとのジオローテーション。
Goでnet/httpとCollyを使ってレジデンシャルプロキシを利用する方法
Goにおけるプロキシ: トランスポートの設定、コネクション再利用を妨げるbody-drainとMaxIdleConnsPerHostの落とし穴、リクエストごとのジオローテーション、CollyのSetProxyFunc
レジデンシャルプロキシのリクエストがタイムアウトする理由
プロキシのタイムアウトに関する診断ガイド: 接続と読み取りの違い、過度に厳しいジオフィルター、データセンター向けに調整されたタイムアウト、そして本当の原因を素早く見つけるためのチェック方法について解説します。
レジデンシャルプロキシのフェイルオーバー: 信頼性の高いマルチリージョンデータパイプラインの構築
リトライは不正なリクエストに対処するものだ。フェイルオーバーは不正な依存関係に対処するものだ。ブロックの波、ジオの劣化、障害を乗り越えるプロキシ利用パイプラインの設計方法。