ブログ

ガイド、チュートリアル& インサイト

Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。

ニュース
ニュース 1 分で読める

自動ウォレットチャージ機能の導入

しきい値とチャージ額を設定すれば、Shifterウォレットが自動的にチャージされるため、使用量に応じた課金でプロキシが停止することはありません。月間上限の設定も、いつでもオフにすることも可能です。

James Meadow James Meadow · 2026年7月30日
ナレッジ
ナレッジ 3 分で読める

Node.jsでAxiosとGotを使ってレジデンシャルプロキシを利用する方法

Node.jsにおけるプロキシ: Axiosでhttps-proxy-agentとproxy:falseが必要な理由、Gotのagentオプション、fetch用のundiciのProxyAgent、リクエストごとのジオローテーション。

Chris Collins Chris Collins · 2026年7月29日
ナレッジ
ナレッジ 2 分で読める

Kubernetesでレジデンシャルプロキシのスクレイピング作業をスケールする方法

Kubernetes上でスクレイピングを実行する: プロキシ認証情報をSecretsとして管理し、Downward APIでPodごとのセッションIDを付与し、キュー駆動のオートスケーリングとグレースフルシャットダウンを行う。

Chris Collins Chris Collins · 2026年7月28日
スクレイピング
スクレイピング 1 分で読める

ウェブスクレイピングのベストプラクティス:スクレイピング対象のサイトに損害を与えずにデータを収集する方法

責任あるウェブスクレイピング:robots.txtを尊重し、レート制限を設け、429エラー時にはバックオフし、キャッシュを活用し、オフピーク時にスクレイピングを行うこと。良き実践者であることは、ブロックされる頻度を大幅に減らすことにもつながる。

Chris Collins Chris Collins · 2026年7月27日
ナレッジ
ナレッジ 3 分で読める

PHPでcURLとGuzzleを使ってレジデンシャルプロキシを利用する方法

PHPにおけるプロキシ:cURLのCURLOPT_PROXYとCURLOPT_PROXYUSERPWD、Guzzleのproxyオプション、CURLOPT_HTTPPROXYTUNNEL、そしてリクエストごとのジオローテーション。

Chris Collins Chris Collins · 2026年7月26日
ナレッジ
ナレッジ 3 分で読める

JavaでOkHttpとApache HttpClientを使ってレジデンシャルプロキシを利用する方法

Javaにおけるプロキシ:OkHttpのproxyAuthenticatorの落とし穴、Apache HttpClientのデフォルトで5のルートごとのプール制限、エンティティの消費、そしてリクエストごとのジオローテーション。

Chris Collins Chris Collins · 2026年7月25日
ナレッジ
ナレッジ 3 分で読める

Goでnet/httpとCollyを使ってレジデンシャルプロキシを利用する方法

Goにおけるプロキシ: トランスポートの設定、コネクション再利用を妨げるbody-drainとMaxIdleConnsPerHostの落とし穴、リクエストごとのジオローテーション、CollyのSetProxyFunc

Chris Collins Chris Collins · 2026年7月24日
ナレッジ
ナレッジ 2 分で読める

レジデンシャルプロキシのリクエストがタイムアウトする理由

プロキシのタイムアウトに関する診断ガイド: 接続と読み取りの違い、過度に厳しいジオフィルター、データセンター向けに調整されたタイムアウト、そして本当の原因を素早く見つけるためのチェック方法について解説します。

Matt Brown Matt Brown · 2026年7月23日
ナレッジ
ナレッジ 2 分で読める

レジデンシャルプロキシのフェイルオーバー: 信頼性の高いマルチリージョンデータパイプラインの構築

リトライは不正なリクエストに対処するものだ。フェイルオーバーは不正な依存関係に対処するものだ。ブロックの波、ジオの劣化、障害を乗り越えるプロキシ利用パイプラインの設計方法。

Chris Collins Chris Collins · 2026年7月22日