세션 및 프록시
대부분의 스크래핑은 단발성으로 이루어집니다. 여러 요청에 걸쳐 쿠키를 유지하거나 특정 지역을 대상으로 해야 할 때는 세션과 프록시 제어 기능을 사용하세요.
세션은 여러 요청에 걸쳐 쿠키, 브라우저 상태, 그리고 업스트림 프록시 IP를 유지합니다. 원하는 문자열로 session_id를 전달하세요:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/login&session_id=worker-42&render_js=1"curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com/dashboard&session_id=worker-42&render_js=1"두 번째 요청은 첫 번째 요청의 로그인 쿠키를 재사용합니다. 세션은 최대 10분간 유휴 상태를 유지한 뒤 만료됩니다.
세션 사용 사례
섹션 제목: “세션 사용 사례”- 한 번 로그인한 뒤 동일한 세션에서 인증이 필요한 페이지를 스크래핑
- 서버 측 커서에 의존하는 페이지네이션 결과를 탐색
- 상품 추가 작업 사이에 장바구니를 계속 열어두기
지역 설정
섹션 제목: “지역 설정”country를 사용해 특정 국가의 프록시를 요청하세요:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://shop.example.com&country=de"값은 ISO 3166-1 alpha-2 국가 코드입니다. Growth 요금제 이상에서는 전 세계에서 사용할 수 있으며, Starter는 US/EU 지역만 지원합니다.
프록시 풀
섹션 제목: “프록시 풀”| 매개변수 | 풀 | 사용 가능 요금제 |
|---|---|---|
| 기본값 (플래그 없음) | 대상에 맞춰 스마트하게 선택 | 모든 요금제 |
premium_proxy=1 | 2억 5백만 개 이상 풀의 레지덴셜 IP | Growth 이상 |
mobile_proxy=1 | 모바일 통신사 IP | Growth 이상 |
세밀한 제어를 위해 country와 결합하세요:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://news.example.com&premium_proxy=1&country=jp"자체 프록시 사용
섹션 제목: “자체 프록시 사용”forward_proxy(URL 인코딩)를 사용해 요청을 자체 업스트림 프록시로 라우팅하세요:
curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://example.com&forward_proxy=http%3A%2F%2Fuser%3Apass%40your-proxy.example.com%3A8080"일부 대상에 회사 프록시가 필요한 하이브리드 구성에 유용합니다.