ウェブスクレイピングAPI
URLを送信してください。 データを受け取ります。
Webスクレイピング用マネージドREST API。プロキシローテーション、JavaScriptレンダリング、CAPTCHA解決、リトライを処理します。データはお客様が管理します。
{
"url": "▍",
"render": true,
"country": "us"
}ご利用企業 50,000+ 世界中のクライアント
完全な スクレイピングスタック
ブラウザレンダリング、プロキシローテーション、アンチボット防御を単一のRESTエンドポイントで。
JavaScriptレンダリング
実際のヘッドレスブラウザがシングルページアプリ、動的コンテンツ、無限スクロールをレンダリングします。Chromeでユーザーが見るのと同じHTMLを取得できます。
195か国以上のプロキシ
195か国以上の住宅およびISP(静的住宅)IP。1つのパラメータで国レベルのジオターゲティングが可能です。
自動リトライとCAPTCHA解決
reCAPTCHA、hCaptcha、ボットチャレンジが自動的に検出・回避されます。失敗したリクエストは新しいIPでリトライされ、成功したレスポンスのみ課金されます。
ヘッダー、Cookie、セッション
カスタムヘッダー、Cookie、POSTボディをAPIを通じて転送できます。セッションIDを使用してリクエスト間でセッションを維持できます。
構造化JSONまたは生HTML
一般的なターゲットの解析済みJSONを取得するか、生HTMLを取得して抽出方法を決定できます。非同期バッチジョブにはWebhook配信も利用可能です。
スケールに対応した設計
プランごとに数百の同時リクエスト、サブセカンドの平均レイテンシ、99.9%稼働率SLA。インフラを管理せずに数千のジョブを並列実行できます。
1 HTTPリクエスト 離れる
シンプルな REST。URL を送信してデータを取得するだけで、スクレイパーコードのメンテナンスは不要です。
const params = new URLSearchParams({
api_key: process.env.SHIFTER_API_KEY,
url: "https://amazon.com/dp/B0CRMR6JKZ",
render_js: "1",
country: "us",
});
const res = await fetch(`https://scrape.shifter.io/v1?${params}`);
const data = await res.json();
console.log(data.title, data.price);対象 データチーム
エンジニアやアナリストはScraping APIを使用して、スクレイパーインフラを所有せずに、モニタリング、調査、MLパイプラインを実現します。
旅行運賃集計
ホテルや航空券サイト、オンライン旅行代理店、アグリゲーターから料金を収集します。スクレイパーをゼロから構築することなく、アンチボット対策を突破します。
価格・商品モニタリング
マーケットプレイス全体で競合の価格、在庫レベル、商品説明、レビューを追跡します。リアルタイムデータで価格戦略を自動化します。
金融データ
市場データ、ブローカーレート、オルタナティブデータセットを取得します。複数のソースから集約して投資判断やリスクモデルに活用します。
不動産
地域ポータルから物件情報、賃料、市場トレンドを収集します。構造化された不動産データで取得パイプラインを構築します。
カスタマーレビュー
マーケットプレイス、アプリストア、レビューサイトから商品レビューと評価をスクレイピングします。最新データでセンチメントモデルを強化します。
HRと採用データ
競合他社の求人ボード、採用ページで新規募集、採用パターン、タレントトレンドをモニタリングします。
シンプル、 透明 料金
クレジットベースの料金体系。JSレンダリングとCAPTCHA解決はすべてのプランに含まれています。同時接続数を20から500以上にスケール可能。
含まれるもの
- 100,000 APIクレジット
- 同時接続リクエスト20
- JavaScript レンダリング
- Datacenter Proxies
- 米国/EUジオロケーション
含まれるもの
- 1,000,000 APIクレジット
- 同時接続リクエスト50
- JavaScript レンダリング
- レジデンシャル・モバイルプロキシ
- すべてのジオロケーション
含まれるもの
- API クレジット 3,000,000
- 100 同時リクエスト
- JavaScript レンダリング
- レジデンシャル・モバイルプロキシ
- すべてのジオターゲティング
含まれるもの
- 10,000,000 APIクレジット
- 同時接続リクエスト500
- JavaScript レンダリング
- レジデンシャル・モバイルプロキシ
- すべてのジオターゲティング
最初のレジデンシャルプロキシプロバイダー。
現在は最大規模の一つです。
2012年以来、Shifterは信頼されるグローバルプロキシネットワークとして成長してきました 以上 50,000 Fortune 500企業を含むクライアント。どこからでも接続し、完全なプライバシーとセキュリティを維持しながら、制限なくローカルデータにアクセスできます。
よくある質問
Web Scraping APIに関するよくある質問。お探しの内容が見つかりませんか？サポートチームにお問い合わせください。
リクエストごとではなく、クレジットごとに課金されます。標準データセンターリクエスト：1クレジット。JavaScriptレンダリングのデータセンターリクエスト：5クレジット。標準住宅リクエスト：10クレジット。JavaScriptレンダリングの住宅リクエスト：25クレジット。失敗したリクエストは課金されません。
APIは自動スケーリングクラウドインフラ上に構築されており、現在は顧客全体で1日あたり数千から数百万のリクエストを処理しています。プランは同時接続数を20から500以上にスケールします。より大きなボリュームについては、カスタムプランについてお問い合わせください。
はい。render=trueを設定すると、リクエストが実際のヘッドレスブラウザで実行されます。SPA、動的コンテンツ、遅延読み込みセクション、無限スクロールすべてに対応しています。JavaScriptレンダリングはより多くのクレジットを使用しますが、純粋なHTTPスクレイパーではアクセスできないターゲットを解放します。
CAPTCHA（reCAPTCHA、hCaptchaなど）はリクエストフロー内で自動的に検出・解決されます。サードパーティのソルバーは不要です。ブロックやレート制限は、住宅プールの新しいIPで自動リトライをトリガーします。
はい。リクエストに'country'パラメータを渡すことで、その国のIPを経由してルーティングできます。195か国以上に対応しており、住宅プランでは都市レベルのターゲティングも利用可能です。
Node.js、Python、Scrapy、Rust用の公式SDKがGitHubで公開されています。APIはシンプルなRESTなので、あらゆるHTTPクライアントで動作します。SDKはリトライ、バッチ処理、Webhookハンドリングの便利なヘルパーを追加します。
から始める ウェブスクレイピングAPI
プロキシ、ブラウザ、アンチボット対策は不要です。URLを送信してデータを取得するだけ。$44/月からのプラン。