API 요청
웹 페이지를 스크래핑하려면 api_key와 대상 url을 포함하여 Web Scraping API 기본 엔드포인트에 GET 요청을 보내십시오. 추가 선택적 매개변수를 사용하면 렌더링, 프록시 유형, 지리적 위치, 타임아웃 등을 제어할 수 있습니다.
Endpoint
섹션 제목: “Endpoint” GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>
Parameters
섹션 제목: “Parameters”| Parameter | Type | Required | Description |
|---|---|---|---|
api_key | string | yes | Web Scraping API 액세스 키입니다. 계정 대시보드에서 확인할 수 있습니다. |
url | string | yes | 스크래핑할 대상 URL입니다. |
render_js | integer | no | 0(기본값) 또는 1. 헤드리스 브라우저를 통한 JavaScript 렌더링을 활성화합니다. 데이터센터의 경우 API 호출 5회, 레지덴셜의 경우 25회가 소요됩니다. |
proxy_type | string | no | datacenter(기본값) 또는 residential. 레지덴셜은 JS 렌더링 없이 10회, 있으면 25회가 소요됩니다. |
country | string | no | 프록시 지리적 위치를 위한 2자리 국가 코드입니다. 지원 목록은 프록시 유형에 따라 다릅니다. |
keep_headers | integer | no | 사용자 지정 요청 헤더를 그대로 전달하려면 1, 지정한 헤더만 사용하려면 0을 입력합니다. |
session | integer | no | 동일한 세션 번호를 재사용하여 여러 요청에서 동일한 프록시 IP를 재사용합니다. 마지막 사용 후 5분이 지나면 만료됩니다. |
timeout | integer | no | 밀리초 단위의 최대 요청 시간입니다. 최대 60000입니다. 타임아웃이 발생하기 전까지 수집된 HTML을 API가 반환합니다. |
device | string | no | desktop(기본값), mobile, 또는 tablet. |
wait_until | string | no | 고급. 렌더링이 완료된 것으로 간주되는 조건입니다. render_js=1이 필요합니다. |
wait_for | integer | no | 고급. 페이지 로드 후 대기할 밀리초입니다. 5000-10000을 권장합니다. render_js=1이 필요합니다. |
wait_for_css | string | no | 고급. CSS 선택자가 나타날 때까지 최대 10초 동안 대기합니다. render_js=1이 필요합니다. |
screenshot | integer | no | 고급. 스크린샷을 반환하려면 1로 설정합니다. render_js=1이 필요합니다. |
screenshot_options | object | no | 고급. 스크린샷 크기와 full_page를 제어합니다. |
extract_rules | string | no | 고급. CSS 추출 규칙을 설명하는 URL 인코딩된 JSON입니다. |
disable_stealth | integer | no | 고급. 기본 stealth 플러그인을 비활성화하려면 1로 설정합니다. render_js=1이 필요합니다. |
auto_parser | integer | no | 고급. HTML 대신 파싱된 JSON을 반환하려면 1로 설정합니다. |
js_instructions | string | no | 고급. 스크래핑 전에 실행할 작업들의 URL 인코딩된 JSON 배열입니다. render_js=1이 필요합니다. |
binary_response | integer | no | base64로 인코딩된 바이너리 파일(PDF, 이미지 등)을 반환하려면 1로 설정합니다. |
Example request
섹션 제목: “Example request”curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get"import requests
r = requests.get("https://scrape.shifter.io/v1", params={ "api_key": "YOUR_API_KEY", "url": "https://httpbin.org/get",})print(r.text)import fetch from 'node-fetch';
const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({ api_key: 'YOUR_API_KEY', url: 'https://httpbin.org/get',});const res = await fetch(url);console.log(await res.text());See also
섹션 제목: “See also”- 기본 요청 - 최소 예제
- JavaScript 렌더링
- 프록시
- API 오류