ガイド、チュートリアル & インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
Puppeteerでレジデンシャルプロキシを使う方法(page.authenticateを含む)
Puppeteerにおけるプロキシ: プロキシはlaunch argsで指定し、認証情報はpage.authenticateで渡し、1つのゲートウェイを通じてページ単位でジオローテーションを行い、リソースをブロックする。
Chris Collins · 2026年8月5日 2026年におけるWebスクレイピングの現状
AIによってデータ収集は戦略的なものとなり、アンチボット対策はネットワークレベルへと移行し、ブロックは見えないものとなり、価格設定は帯域幅ベースへとシフトした。2026年におけるWebスクレイピングの現状を見る。
James Meadow · 2026年8月3日 C#でHttpClientを使ってレジデンシャルプロキシを利用する方法
C#におけるプロキシ:NetworkCredentialを使ったWebProxy、SocketsHttpHandlerとPooledConnectionLifetime、IHttpClientFactory、そしてジオローテーション用のID別クライアント
Chris Collins · 2026年8月2日 自前構築か購入か:スクレイピング基盤は自社で運用すべきか
デモ用のスクレイパーを作るのは半日仕事だ。しかしそれをスケールさせて運用するのはプロダクトそのものになる。何を自社で構築し、何を購入し、そしてどの層だけは常に借りるべきかを判断するためのフレームワーク。
Chris Collins · 2026年8月1日 Node.jsでAxiosとGotを使ってレジデンシャルプロキシを利用する方法
Node.jsにおけるプロキシ: Axiosでhttps-proxy-agentとproxy:falseが必要な理由、Gotのagentオプション、fetch用のundiciのProxyAgent、リクエストごとのジオローテーション。
Chris Collins · 2026年7月29日 Kubernetesでレジデンシャルプロキシのスクレイピング作業をスケールする方法
Kubernetes上でスクレイピングを実行する: プロキシ認証情報をSecretsとして管理し、Downward APIでPodごとのセッションIDを付与し、キュー駆動のオートスケーリングとグレースフルシャットダウンを行う。
Chris Collins · 2026年7月28日 PHPでcURLとGuzzleを使ってレジデンシャルプロキシを利用する方法
PHPにおけるプロキシ:cURLのCURLOPT_PROXYとCURLOPT_PROXYUSERPWD、Guzzleのproxyオプション、CURLOPT_HTTPPROXYTUNNEL、そしてリクエストごとのジオローテーション。
Chris Collins · 2026年7月26日 JavaでOkHttpとApache HttpClientを使ってレジデンシャルプロキシを利用する方法
Javaにおけるプロキシ:OkHttpのproxyAuthenticatorの落とし穴、Apache HttpClientのデフォルトで5のルートごとのプール制限、エンティティの消費、そしてリクエストごとのジオローテーション。
Chris Collins · 2026年7月25日 Goでnet/httpとCollyを使ってレジデンシャルプロキシを利用する方法
Goにおけるプロキシ: トランスポートの設定、コネクション再利用を妨げるbody-drainとMaxIdleConnsPerHostの落とし穴、リクエストごとのジオローテーション、CollyのSetProxyFunc
Chris Collins · 2026年7月24日