ウェブスクレイピングAPI
1つのエンドポイントで、あらゆるページに対応。スクレイピングAPIがプロキシローテーション、ヘッドレスChrome、JavaScript実行、CAPTCHA解決、自動リトライを処理します。
エンドポイント
Section titled “エンドポイント” GET https://scrape.shifter.io/v1
POST および PUT のバリアントもサポートされています。POSTリクエスト と PUTリクエスト を参照してください。
すべてのリクエストで、APIキーを api_key クエリパラメータとして渡してください。キーは パネル の Web Scraping API → API Keys で管理します。
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"コアパラメータ
Section titled “コアパラメータ”| パラメータ | 型 | 必須 | 説明 |
|---|---|---|---|
api_key | string | はい | あなたのAPIキー |
url | string | はい | 取得対象のURL |
render_js | 0 | 1 | いいえ | ヘッドレスChromeレンダリングを有効化 |
premium_proxy | 0 | 1 | いいえ | レジデンシャルIP経由でルーティング（Growth以上） |
mobile_proxy | 0 | 1 | いいえ | モバイルIP経由でルーティング（Growth以上） |
country | ISOコード | いいえ | プロキシの位置情報に使用する国 |
device | desktop | mobile | tablet | いいえ | シミュレートするデバイス |
session_id | string | いいえ | リクエスト間でCookieとプロキシを再利用 |
timeout | ms | いいえ | ブラウザが使用できる最大時間（最大60000） |
wait_for | ms | いいえ | ナビゲーション後のアイドル待機時間（推奨5000〜10000） |
wait_for_css | selector | いいえ | CSSセレクタが出現するまでブロック |
wait_until | string | いいえ | ナビゲーションの待機条件（高度な設定） |
keep_headers | 0 | 1 | いいえ | カスタムヘッダーを対象サイトに転送 |
custom_headers | JSON | いいえ | カスタムリクエストヘッダー（URLエンコード） |
custom_cookies | string | いいえ | Cookieヘッダーの値 |
extract_rules | JSON | いいえ | 構造化JSONに解析するCSSセレクタ |
auto_parser | 0 | 1 | いいえ | JSONレスポンスを自動解析 |
screenshot | 0 | 1 | いいえ | HTMLの代わりにPNGを返す |
screenshot_options | JSON | いいえ | スクリーンショットのサイズとセレクタ |
binary_response | 0 | 1 | いいえ | バイナリペイロード（PDF、画像）をストリーム |
js_instructions | JSON | いいえ | キャプチャ前にスクロール/クリック/待機を実行 |
disable_stealth | 0 | 1 | いいえ | ステルスプラグインを無効化 |
webhook | URL | いいえ | 準備ができたらレスポンスをこのURLにPOST |
forward_proxy | URL | いいえ | 独自のアップストリームプロキシを経由 |
JSONを期待するすべてのパラメータはURLエンコードする必要があります。
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&wait_for_css=h1"エンドポイントページ
Section titled “エンドポイントページ” 基本リクエスト api_keyとurlを使った最小限のGET。
全パラメータ すべてのパラメータの詳細な説明。
POSTリクエスト POSTボディが必要なURLをスクレイピング。
PUTリクエスト PUTエンドポイントをスクレイピング。
JavaScriptのレンダリング render_jsフラグと制限。
JavaScript命令 キャプチャ前のスクロール、クリック、待機。
CSSの待機 wait_for_cssセレクタの構文。
タイムアウトの強制 timeoutでブラウザ時間の上限を設定。
スクリーンショット ページ全体または要素のPNGをキャプチャ。
セッション リクエスト間でCookieとIPを保持。
バイナリファイル PDF、画像、その他のバイナリをダウンロード。
カスタムヘッダー ヘッダーを対象サイトに転送。
カスタムCookie リクエストにCookieを注入。
プロキシ データセンター対レジデンシャル対モバイル。
ジオロケーション countryパラメータとサポートされている地域。
抽出ルール 解析済みJSONを返す。
JSON自動パーサー JSONエンドポイント向けのauto_parser。
APIエラー ステータスコードとリトライの仕様。