高度な設定

カスタムヘッダー

custom_headers を通じて、URLエンコードされたJSONオブジェクトとしてヘッダーを渡します。

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com&custom_headers=%7B%22Authorization%22%3A%22Bearer%20abc123%22%7D"

ターゲットがベアラートークン、X-Requested-With: XMLHttpRequest、またはロケール設定を要求する場合に便利です。

カスタムクッキー

custom_cookies を使ってインラインでクッキーを設定します。

cookie_name=value; other_name=value2

URLエンコードした場合:

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&custom_cookies=session_id%3Dabc%3B%20locale%3Den-US"

複数リクエストにまたがるクッキーには、session_id の使用を推奨します。サーバーが設定したクッキーは自動的に保持されます。

POSTとPUT

method でメソッドを切り替えます。ボディはリクエストボディとして渡します。

curl -X POST \
  "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://api.example.com/users&method=POST" \
  -H "Content-Type: application/json" \
  -d '{"email":"user@example.com","plan":"pro"}'

PUTも method=PUT を指定する以外は同じです。

スクリーンショット

HTMLの代わりに、フルページのPNGを返します。

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&screenshot=1" \
  -o screenshot.png

オプション:

• screenshot_full_page=1、ビューポートを超えた範囲もキャプチャします。
• screenshot_selector=<css>、単一の要素のみをキャプチャします。

バイナリファイル

PDF、画像、その他のテキスト以外のレスポンスには binary_response=1 を追加します。スクレイパーはバイナリペイロードをストリーミングします。

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/file.pdf&binary_response=1" \
  -o file.pdf

ステルス制御

ターゲットによっては、デフォルトのブラウザフィンガープリントを検知することがあります。デバッグのためにステルスモードを無効化できます(本番環境では非推奨です)。

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&disable_stealth=1&render_js=1"

フラグの組み合わせ

すべてのフラグは組み合わせ可能です。実際のリクエストは次のようになります。

curl "https://scrape.shifter.io/v1?\
api_key=YOUR_API_KEY&\
url=https://shop.example.com/products/42&\
render_js=1&\
wait_for_css=.price&\
session_id=cart-001&\
premium_proxy=1&\
country=us&\
extract_rules=%7B%22price%22%3A%7B%22selector%22%3A%22.price%22%2C%22output%22%3A%22text%22%7D%7D"

1回の成功したリクエストにつき、1クレジットです。

次のステップ

• エラーと制限、各コードの意味とリトライがクレジットにどう影響するか。
• FAQ、クレジット、失敗、カスタムスクリプトについて。