추출 규칙

URL 인코딩된 JSON을 extract_rules에 전달하여 대상 페이지에서 구조화된 출력을 얻으세요. 각 규칙은 CSS 선택자, 선택적 출력 타입, 그리고 모든 일치 항목을 반환할지 여부를 나타내는 플래그로 구성됩니다. 추출 규칙은 JavaScript 렌더링이 있든 없든 작동합니다.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&extract_rules=<URL_ENCODED_JSON>

Parameters

Parameter	Type	Required	Description
api_key	string	yes	사용자의 Web Scraping API 키
url	string	yes	가져올 대상 URL
extract_rules	string	yes	추출 규칙을 설명하는 URL 인코딩된 JSON입니다.

Rule object

Field	Type	Required	Description
selector	string	yes	CSS 선택자입니다.
output	string	no	html(기본값), text, 또는 속성 값을 가져오기 위한 @attr입니다.
all	string	no	모든 일치 항목을 배열로 반환하려면 "1", 첫 번째 일치 항목만 반환하려면 "0"(기본값)입니다.

Example request

페이지 제목을 텍스트로 추출합니다:

{"title": {"selector": "h1", "output": "text"}}

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https%3A%2F%2Fexample.com&extract_rules=%7B%22title%22%3A%20%7B%22selector%22%3A%20%22h1%22%2C%20%22output%22%3A%20%22text%22%7D%7D"

Python

import json
import requests

rules = {"title": {"selector": "h1", "output": "text"}}
r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://example.com",
    "extract_rules": json.dumps(rules),
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const rules = { title: { selector: 'h1', output: 'text' } };
const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://example.com',
  extract_rules: JSON.stringify(rules),
});
const res = await fetch(url);
console.log(await res.json());

Example response

{ "title": "Example Domain" }

See also

• JSON 자동 파서
• API 요청