빠른 시작

scrape.shifter.io/v1에 단일 요청을 보내면 Shifter가 프록시 로테이션, 헤드리스 Chrome, 재시도를 대신 처리해 드립니다.

1. API 키 발급받기

   shifter.io/panel에 로그인하여 Web Scraping API → API Keys를 엽니다. 활성화된 키를 복사하세요.

2. 페이지 가져오기

   curl

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com"

   Python

   import requests
   
   params = {"api_key": "YOUR_API_KEY", "url": "https://example.com"}
   r = requests.get("https://scrape.shifter.io/v1", params=params)
   print(r.text)

   Node.js

   import fetch from 'node-fetch';
   
   const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
     api_key: 'YOUR_API_KEY',
     url: 'https://example.com',
   });
   const res = await fetch(url);
   console.log(await res.text());

3. JavaScript 렌더링 활성화하기

   render_js=1을 추가하면 헤드리스 Chrome이 실행되어 완전히 렌더링된 DOM을 반환합니다. 정적 페치와 동일한 비용이 부과됩니다.

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&render_js=1"

4. 구조화된 데이터 추출하기

   HTML 파서를 건너뛰세요. extract_rules를 URL 인코딩된 JSON으로 전달하면 JSON 형태로 결과를 받을 수 있습니다:

   curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&extract_rules=%7B%22title%22%3A%7B%22selector%22%3A%22h1%22%2C%22output%22%3A%22text%22%7D%7D"
   
   # {"title": "Example Domain"}

팁

Starter 플랜은 데이터센터 프록시를 사용하며, 대부분의 정적 페이지에는 충분합니다. 트래픽을 핑거프린팅하는 사이트를 위해서는 Growth 이상으로 업그레이드하여 레지덴셜 IP와 모바일 IP를 경유하세요.

다음 단계

• JavaScript 렌더링, 셀렉터 대기, 스크롤, 클릭, 스크린샷.
• 추출 규칙, HTML 파싱 없이 구조화된 출력.
• 세션 및 프록시, 요청 전반에 걸쳐 쿠키를 유지.