クイックスタート

scrape.shifter.io/v1 に対して1回のリクエストを送るだけで、プロキシのローテーション、ヘッドレスChrome、リトライをShifterが代わりに処理します。

1. APIキーを取得する

   shifter.io/panel にログインし、Web Scraping API → API Keys を開きます。有効なキーをコピーします。

2. ページを取得する

   curl

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

   Python

   import requests
   
   params = {"api_key": "YOUR_API_KEY", "url": "https://example.com"}
   r = requests.get("https://scrape.shifter.io/v1", params=params)
   print(r.text)

   Node.js

   import fetch from 'node-fetch';
   
   const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
     api_key: 'YOUR_API_KEY',
     url: 'https://example.com',
   });
   const res = await fetch(url);
   console.log(await res.text());

3. JavaScriptレンダリングを有効にする

   render_js=1 を追加すると、ヘッドレスChromeが起動し、完全にレンダリングされたDOMが返されます。静的な取得と同じ料金です。

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"

4. 構造化データを抽出する

   HTMLパーサーは不要です。extract_rules をURLエンコードされたJSONとして渡せば、JSONが返ってきます。

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"
   
   # {"title": "Example Domain"}

ヒント

Starterプランはデータセンタープロキシを使用しており、ほとんどの静的ページには十分です。トラフィックのフィンガープリンティングを行うサイトに対応するには、GrowthまたはそれSuperior上のプランにアップグレードして、レジデンシャルIPやモバイルIPを経由させてください。

次のステップ

• JavaScriptのレンダリング: セレクターの待機、スクロール、クリック、スクリーンショット。
• 抽出ルール: HTML解析不要の構造化出力。
• セッションとプロキシ: リクエスト間でCookieを保持する。