웹 스크래핑 API
하나의 엔드포인트로 모든 페이지를 처리합니다. 스크래핑 API는 프록시 로테이션, 헤드리스 Chrome, JavaScript 실행, CAPTCHA 해결, 자동 재시도를 처리합니다.
Endpoint
섹션 제목: “Endpoint” GET https://scrape.shifter.io/v1
POST와 PUT 변형도 지원됩니다. POST requests와 PUT requests를 참조하세요.
Authentication
섹션 제목: “Authentication”모든 요청에서 api_key 쿼리 파라미터로 API 키를 전달하세요. 키는 panel의 Web Scraping API → API Keys에서 관리됩니다.
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"Core parameters
섹션 제목: “Core parameters”| Parameter | Type | Required | Description |
|---|---|---|---|
api_key | string | yes | 사용자의 API 키 |
url | string | yes | 가져올 URL |
render_js | 0 | 1 | no | 헤드리스 Chrome 렌더링 활성화 |
premium_proxy | 0 | 1 | no | 레지덴셜 IP를 통해 라우팅 (Growth 이상) |
mobile_proxy | 0 | 1 | no | 모바일 IP를 통해 라우팅 (Growth 이상) |
country | ISO code | no | 프록시 지오로케이션을 위한 국가 |
device | desktop | mobile | tablet | no | 시뮬레이션할 디바이스 |
session_id | string | no | 요청 간 쿠키와 프록시 재사용 |
timeout | ms | no | 브라우저가 소요할 수 있는 최대 시간, 최대 60000 |
wait_for | ms | no | 탐색 후 유휴 대기 시간 (5000-10000 권장) |
wait_for_css | selector | no | CSS 셀렉터가 나타날 때까지 대기 |
wait_until | string | no | 탐색 대기 조건 (고급) |
keep_headers | 0 | 1 | no | 사용자 지정 헤더를 대상으로 전달 |
custom_headers | JSON | no | 사용자 지정 요청 헤더 (URL 인코딩) |
custom_cookies | string | no | Cookie 헤더 값 |
extract_rules | JSON | no | 구조화된 JSON으로 파싱할 CSS 셀렉터 |
auto_parser | 0 | 1 | no | JSON 응답 자동 파싱 |
screenshot | 0 | 1 | no | HTML 대신 PNG 반환 |
screenshot_options | JSON | no | 스크린샷 크기 및 셀렉터 |
binary_response | 0 | 1 | no | 바이너리 페이로드 스트리밍 (PDF, 이미지) |
js_instructions | JSON | no | 캡처 전 스크롤/클릭/대기 실행 |
disable_stealth | 0 | 1 | no | 스텔스 플러그인 비활성화 |
webhook | URL | no | 준비되면 이 URL로 응답을 POST |
forward_proxy | URL | no | 사용자의 업스트림 프록시를 통해 체이닝 |
JSON을 요구하는 모든 파라미터는 URL 인코딩되어야 합니다.
Quick example
섹션 제목: “Quick example”curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&wait_for_css=h1"Endpoint pages
섹션 제목: “Endpoint pages” 기본 요청 api_key와 url을 사용한 최소 GET 요청.
전체 파라미터 모든 파라미터에 대한 상세 문서.
POST 요청 POST 본문이 필요한 URL 스크래핑.
PUT 요청 PUT 엔드포인트 스크래핑.
JavaScript 렌더링 render_js 플래그와 제한사항.
JavaScript 지시문 캡처 전 스크롤, 클릭, 대기.
CSS 대기 wait_for_css 셀렉터 구문.
타임아웃 강제 설정 timeout으로 브라우저 시간 제한.
스크린샷 전체 페이지 또는 요소 PNG 캡처.
세션 요청 간 쿠키와 IP 유지.
바이너리 파일 PDF, 이미지, 기타 바이너리 다운로드.
사용자 지정 헤더 대상으로 헤더 전달.
사용자 지정 쿠키 요청에 쿠키 삽입.
프록시 데이터센터 프록시 vs 레지덴셜 프록시 vs 모바일 프록시.
지오로케이션 country 파라미터와 지원되는 위치.
추출 규칙 파싱된 JSON 반환.
JSON 자동 파서 JSON 엔드포인트를 위한 auto_parser.
API 오류 상태 코드와 재시도 동작 방식.