セッションとプロキシ
ほとんどのスクレイプは単発です。リクエストをまたいでクッキーを保持したり、特定の地域をターゲットにしたりする必要がある場合は、セッションとプロキシ制御を使用します。
セッションは、複数のリクエストにわたってクッキー、ブラウザの状態、アップストリームプロキシIPを保持します。任意の文字列で session_id を渡します。
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/login&session_id=worker-42&render_js=1"curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/dashboard&session_id=worker-42&render_js=1"2つ目のリクエストは、最初のリクエストのログインクッキーを再利用します。セッションはアイドル時間が最大10分間続くと期限切れになります。
セッションのユースケース
Section titled “セッションのユースケース”- 一度ログインし、同じセッションで認証済みページをスクレイプする
- サーバー側のカーソルに依存するページネーション結果を辿る
- アイテムの追加中にショッピングカートを開いたままにする
ジオロケーション
Section titled “ジオロケーション”country を使って特定の国からプロキシをリクエストします。
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://shop.example.com&country=de"値はISO 3166-1 alpha-2の国コードです。Growthプラン以上ではグローバルに利用可能です。Starterプランは米国/EUのみです。
プロキシプール
Section titled “プロキシプール”| パラメータ | プール | 利用可能なプラン |
|---|---|---|
| デフォルト(フラグなし) | ターゲットに応じてスマートに選択 | 全プラン |
premium_proxy=1 | 2億500万以上のプールからのレジデンシャルIP | Growth以上 |
mobile_proxy=1 | モバイルキャリアIP | Growth以上 |
country と組み合わせることで、細かい制御が可能です。
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://news.example.com&premium_proxy=1&country=jp"自分のプロキシを使用する
Section titled “自分のプロキシを使用する”forward_proxy(URLエンコード済み)を使って、自分のアップストリームプロキシ経由でリクエストをルーティングします。
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&forward_proxy=http%3A%2F%2Fuser%3Apass%40your-proxy.example.com%3A8080"一部のターゲットで企業プロキシが必要となるハイブリッド構成に便利です。