웹 스크래핑 API

하나의 엔드포인트로 모든 페이지를 처리합니다. 스크래핑 API는 프록시 로테이션, 헤드리스 Chrome, JavaScript 실행, CAPTCHA 해결, 자동 재시도를 처리합니다.

엔드포인트

GET https://scrape.shifter.io/v1

POST와 PUT 변형도 지원됩니다. POST requests와 PUT requests를 참조하세요.

인증

모든 요청에서 api_key 쿼리 파라미터로 API 키를 전달하세요. 키는 panel의 Web Scraping API → API Keys에서 관리됩니다.

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

핵심 매개변수

매개변수	유형	필수	설명
`api_key`	string	예	사용자의 API 키
`url`	string	예	가져올 URL
`render_js`	`0` \| `1`	아니요	헤드리스 Chrome 렌더링 활성화
`premium_proxy`	`0` \| `1`	아니요	레지덴셜 IP를 통해 라우팅 (Growth 이상)
`mobile_proxy`	`0` \| `1`	아니요	모바일 IP를 통해 라우팅 (Growth 이상)
`country`	ISO 코드	아니요	프록시 지오로케이션을 위한 국가
`device`	`desktop` \| `mobile` \| `tablet`	아니요	시뮬레이션할 디바이스
`session_id`	string	아니요	요청 간 쿠키와 프록시 재사용
`timeout`	ms	아니요	브라우저가 소요할 수 있는 최대 시간, 최대 60000
`wait_for`	ms	아니요	탐색 후 유휴 대기 시간 (5000-10000 권장)
`wait_for_css`	selector	아니요	CSS 셀렉터가 나타날 때까지 대기
`wait_until`	string	아니요	탐색 대기 조건 (고급)
`keep_headers`	`0` \| `1`	아니요	사용자 지정 헤더를 대상으로 전달
`custom_headers`	JSON	아니요	사용자 지정 요청 헤더 (URL 인코딩)
`custom_cookies`	string	아니요	Cookie 헤더 값
`extract_rules`	JSON	아니요	구조화된 JSON으로 파싱할 CSS 셀렉터
`auto_parser`	`0` \| `1`	아니요	JSON 응답 자동 파싱
`screenshot`	`0` \| `1`	아니요	HTML 대신 PNG 반환
`screenshot_options`	JSON	아니요	스크린샷 크기 및 셀렉터
`binary_response`	`0` \| `1`	아니요	바이너리 페이로드 스트리밍 (PDF, 이미지)
`js_instructions`	JSON	아니요	캡처 전 스크롤/클릭/대기 실행
`disable_stealth`	`0` \| `1`	아니요	스텔스 플러그인 비활성화
`webhook`	URL	아니요	준비되면 이 URL로 응답을 POST
`forward_proxy`	URL	아니요	사용자의 업스트림 프록시를 통해 체이닝

JSON을 요구하는 모든 파라미터는 URL 인코딩되어야 합니다.

간단한 예시

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1&wait_for_css=h1"

엔드포인트 페이지

기본 요청 api_key와 url을 사용한 최소 GET 요청.

전체 파라미터 모든 파라미터에 대한 상세 문서.

POST 요청 POST 본문이 필요한 URL 스크래핑.

PUT 요청 PUT 엔드포인트 스크래핑.

JavaScript 렌더링 render_js 플래그와 제한사항.

JavaScript 지시문 캡처 전 스크롤, 클릭, 대기.

CSS 대기 wait_for_css 셀렉터 구문.

타임아웃 강제 설정 timeout으로 브라우저 시간 제한.

스크린샷 전체 페이지 또는 요소 PNG 캡처.

세션 요청 간 쿠키와 IP 유지.

바이너리 파일 PDF, 이미지, 기타 바이너리 다운로드.

사용자 지정 헤더 대상으로 헤더 전달.

사용자 지정 쿠키 요청에 쿠키 삽입.

프록시 데이터센터 프록시 vs 레지덴셜 프록시 vs 모바일 프록시.

지오로케이션 country 파라미터와 지원되는 위치.

추출 규칙 파싱된 JSON 반환.

JSON 자동 파서 JSON 엔드포인트를 위한 auto_parser.

API 오류 상태 코드와 재시도 동작 방식.