ウェブスクレイピングAPI
URLを送信してください。 データを受け取ります。
ShifterのWeb Scraping APIは、195か国以上でプロキシローテーション、JavaScriptレンダリング、CAPTCHA解決、リトライを処理するマネージドREST APIです。解析済みのJSONまたは未加工のHTMLを受け取り、成功したリクエストの分だけお支払いいただけます。
{
"url": "https://amazon.com/dp/B0CRMR6JKZ",
"render": true,
"country": "us"
}{
"status": 200,
"country": "🇺🇸 US",
"data": {
"title": "Sony WH-1000XM5 Wireless Headphones",
"price": "$348.00",
"rating": 4.7,
"reviews": 28,412,
"in_stock": true
}
}ご利用企業 74,335+ 世界中のクライアント
完全な スクレイピングスタック
ブラウザレンダリング、プロキシローテーション、アンチボット対策を、単一のRESTエンドポイントで提供します。
JavaScriptレンダリング
実際のヘッドレスブラウザがシングルページアプリ、動的コンテンツ、無限スクロールをレンダリングします。Chromeでユーザーが見るのと同じHTMLを取得できます。
195か国以上のプロキシ
データセンター、住宅、モバイルIPに対応し、住宅IPは195か国以上をカバー。1つのパラメータで国レベルのジオターゲティングが可能です。
自動リトライとCAPTCHA解決
reCAPTCHA、hCaptcha、ボットチャレンジが自動的に検出・回避されます。失敗したリクエストは新しいIPでリトライされ、成功したレスポンスのみ課金されます。
ヘッダー、Cookie、セッション
カスタムヘッダー、Cookie、POSTボディをAPIを通じて転送できます。セッションIDを使用してリクエスト間でセッションを維持できます。
構造化JSONまたは生HTML
一般的なターゲットの解析済みJSONを取得するか、生HTMLを取得して抽出方法を決定できます。非同期バッチジョブにはWebhook配信も利用可能です。
スケールに対応した設計
プランごとに数百の同時リクエスト、サブセカンドの平均レイテンシ、99.9%稼働率SLA。インフラを管理せずに数千のジョブを並列実行できます。
HTTPリクエストひとつで
シンプルなREST。URLを送るだけでデータを取得でき、スクレイパーの保守は不要です。
const params = new URLSearchParams({
api_key: process.env.SHIFTER_API_KEY,
url: "https://amazon.com/dp/B0CRMR6JKZ",
render_js: "1",
country: "us",
});
const res = await fetch(`https://scrape.shifter.io/v1?${params}`);
const data = await res.json();
console.log(data.title, data.price);対象 データチーム
エンジニアやアナリストは、スクレイパー基盤を自社で保有することなく、Scraping APIでモニタリング、リサーチ、MLパイプラインを運用しています。
旅行運賃集計
ホテルや航空券サイト、オンライン旅行代理店、アグリゲーターから料金を収集します。スクレイパーをゼロから構築することなく、アンチボット対策を突破します。
価格・商品モニタリング
マーケットプレイス全体で競合の価格、在庫レベル、商品説明、レビューを追跡します。リアルタイムデータで価格戦略を自動化します。
金融データ
市場データ、ブローカーレート、オルタナティブデータセットを取得します。複数のソースから集約して投資判断やリスクモデルに活用します。
不動産
地域ポータルから物件情報、賃料、市場トレンドを収集します。構造化された不動産データで取得パイプラインを構築します。
カスタマーレビュー
マーケットプレイス、アプリストア、レビューサイトから商品レビューと評価をスクレイピングします。最新データでセンチメントモデルを強化します。
HRと採用データ
競合他社の求人ボード、採用ページで新規募集、採用パターン、タレントトレンドをモニタリングします。
シンプルで明朗な料金体系
料金はクレジット制。JSレンダリングとCAPTCHA解決は全プランに標準搭載です。同時実行数は20から500以上までスケールできます。
含まれるもの
- 100,000 APIクレジット
- 同時接続リクエスト20
- JavaScript レンダリング
- Datacenter Proxies
- 米国/EUジオロケーション
含まれるもの
- 1,000,000 APIクレジット
- 同時接続リクエスト50
- JavaScript レンダリング
- レジデンシャル・モバイルプロキシ
- すべてのジオロケーション
含まれるもの
- API クレジット 3,000,000
- 100 同時リクエスト
- JavaScript レンダリング
- レジデンシャル・モバイルプロキシ
- すべてのジオターゲティング
含まれるもの
- 10,000,000 APIクレジット
- 同時接続リクエスト500
- JavaScript レンダリング
- レジデンシャル・モバイルプロキシ
- すべてのジオターゲティング
レジデンシャルプロキシを世界で最初に提供したプロバイダーです。
現在は最大規模の一つです。
2012年以来、Shifterは信頼されるグローバルプロキシネットワークとして成長してきました 74,335+ 社のクライアント。Fortune 500 企業も名を連ねます。 Web Scraping APIはこの同じネットワーク上に構築されているため、自分でプロキシを運用することなく、その規模を活用できます。
よくある質問
Web Scraping APIに関するよくある質問。お探しの内容が見つかりませんか？サポートチームにお問い合わせください。
WebスクレイピングAPIは、Webページの取得を代行するサービスです。1回のリクエストでURLを送るだけで、プロキシ、JavaScriptレンダリング、CAPTCHA、リトライをAPIが処理し、ページを未加工のHTMLまたは解析済みのJSONで返します。
リクエストごとではなく、クレジットごとに課金されます。標準データセンターリクエスト：1クレジット。JavaScriptレンダリングのデータセンターリクエスト：5クレジット。標準住宅リクエスト：10クレジット。JavaScriptレンダリングの住宅リクエスト：25クレジット。失敗したリクエストは課金されません。
APIは自動スケーリングクラウドインフラ上に構築されており、現在は顧客全体で1日あたり数千から数百万のリクエストを処理しています。プランは同時接続数を20から500以上にスケールします。より大きなボリュームについては、カスタムプランについてお問い合わせください。
はい。render=trueを設定すると、リクエストが実際のヘッドレスブラウザで実行されます。SPA、動的コンテンツ、遅延読み込みセクション、無限スクロールすべてに対応しています。JavaScriptレンダリングはより多くのクレジットを使用しますが、純粋なHTTPスクレイパーではアクセスできないターゲットを解放します。
CAPTCHA（reCAPTCHA、hCaptchaなど）はリクエストフロー内で自動的に検出・解決されます。サードパーティのソルバーは不要です。ブロックやレート制限は、住宅プールの新しいIPで自動リトライをトリガーします。
はい。リクエストに'country'パラメータを渡すことで、その国のIPを経由してルーティングできます。195か国以上に対応しており、住宅プランでは都市レベルのターゲティングも利用可能です。
Node.js、Python、Scrapy、Rust用の公式SDKがGitHubで公開されています。APIはシンプルなRESTなので、あらゆるHTTPクライアントで動作します。SDKはリトライ、バッチ処理、Webhookハンドリングの便利なヘルパーを追加します。
スクレイパーを構築・保守せずにデータを取得したい場合は、Web Scraping APIをお使いください。プロキシ、レンダリング、CAPTCHA、リトライを代わりに処理します。すでにスクレイピングのコードがあり、各リクエストを自分で制御したい場合はプロキシが適しています。
から始める ウェブスクレイピングAPI
プロキシ、ブラウザ、アンチボット対策は不要です。URLを送信してデータを取得するだけ。$44/月からのプラン。