JavaScriptレンダリング
必要に応じてフルのヘッドレスChromeを実行します。CSSセレクタを待機し、スクリプトを実行し、キャプチャ前にスクロールやクリックを行えます。
Web Scraping API
URLを送信すると、レンダリング済みのHTMLまたはパース済みのJSONが返ってきます。1つのエンドポイントで、プロキシのローテーション、ヘッドレスChrome、JavaScriptの実行、CAPTCHAの解決、リトライを処理します。
自動リトライとCAPTCHA
失敗またはブロックされたリクエストは、異なるプロキシで自動的にリトライされます。reCAPTCHAとhCaptchaはその場で解決されます。
抽出ルール
生のHTMLの代わりにパース済みのJSONを返します。フィールドごとにCSSセレクタを定義でき、下流のパーサーは不要です。
レジデンシャル+モバイル
Growthプラン以上では、2億500万以上のレジデンシャルプールとモバイルIPを経由します。グローバルなジオロケーションに対応します。
エンドポイント
Section titled “エンドポイント”https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>パラメータはクエリ文字列として追加します。それ以外(プロキシの選択、ブラウザ、リトライ)はすべて自動で処理されます。
クイックサンプル
Section titled “クイックサンプル”curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"完全にレンダリングされたHTMLが返ります。構造化されたJSONを取得するにはextract_rulesを追加します。
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"
# {"title": "Example Domain"}| プラン | クレジット | 同時実行数 | 価格 | プロキシプール |
|---|---|---|---|---|
| Starter | 100K | 20 | $44/mo | データセンター(US/EU) |
| Growth | 1M | 50 | $134/mo | レジデンシャル+モバイル |
| Business | 3M | 100 | $269/mo | レジデンシャル+モバイル |
| Enterprise | 10M | 500 | $719/mo | レジデンシャル+モバイル |
1クレジット = 1回の成功したリクエストです。失敗したリクエストには課金されません。最新の料金を見る。
次のステップ
Section titled “次のステップ” クイックスタート 60秒以内に最初のレンダリング済みスクレイピングを実行します。
JavaScriptのレンダリング render_js、wait_for_css、タイムアウト、JS命令。
抽出ルール 生のHTMLの代わりに構造化されたJSONを返します。
セッションとプロキシ リクエスト間でセッションを保持し、国を選択します。
高度な設定 カスタムヘッダー、Cookie、POST/PUT、スクリーンショット、バイナリ。
エラーと制限 エラーコード、クレジット、失敗時の挙動。