抽出ルール

URLエンコードされたJSONをextract_rulesに渡すことで、対象ページから構造化された出力を取得できます。各ルールにはCSSセレクタ、任意の出力タイプ、すべての一致を返すかどうかのフラグがあります。抽出ルールはJavaScriptレンダリングの有無にかかわらず動作します。

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&extract_rules=<URL_ENCODED_JSON>

Parameters

Parameter	Type	Required	Description
api_key	string	yes	あなたのWeb Scraping APIキー
url	string	yes	取得対象のURL
extract_rules	string	yes	抽出ルールを記述したURLエンコード済みJSON。

Rule object

Field	Type	Required	Description
selector	string	yes	CSSセレクタ。
output	string	no	html（デフォルト）、text、または属性を取得するための@attr。
all	string	no	すべての一致を配列として返す場合は"1"、最初の一致のみの場合は"0"（デフォルト）。

Example request

ページタイトルをテキストとして抽出する:

{"title": {"selector": "h1", "output": "text"}}

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https%3A%2F%2Fexample.com&extract_rules=%7B%22title%22%3A%20%7B%22selector%22%3A%20%22h1%22%2C%20%22output%22%3A%20%22text%22%7D%7D"

Python

import json
import requests

rules = {"title": {"selector": "h1", "output": "text"}}
r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://example.com",
    "extract_rules": json.dumps(rules),
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const rules = { title: { selector: 'h1', output: 'text' } };
const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://example.com',
  extract_rules: JSON.stringify(rules),
});
const res = await fetch(url);
console.log(await res.json());

Example response

{ "title": "Example Domain" }

See also

• JSON自動パーサー
• APIリクエスト