프록시

Web Scraping API는 195개 이상의 지역에 걸쳐 수백만 개의 IP 주소로 구성된 풀을 통해 요청을 처리합니다. proxy_type을 사용하여 대상에 맞는 풀을 선택하세요.

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&proxy_type=<datacenter|residential>

Parameters

Parameter	Type	Required	Description
api_key	string	yes	사용자의 Web Scraping API 키
url	string	yes	가져올 대상 URL
proxy_type	string	no	datacenter(기본값) 또는 residential.

Datacenter vs residential

데이터센터 프록시는 ISP가 아닌 클라우드 제공업체에서 제공됩니다. 빠르고 저렴하며 익명성을 제공하지만, 일부 대상은 데이터센터 대역을 사전에 차단 대상으로 표시합니다. Shifter의 데이터센터 풀은 비공개로 운영되어 블랙리스트 등록률이 낮습니다.

레지덴셜 프록시는 ISP가 가정 사용자에게 할당한 실제 IP입니다. 실제 소비자 트래픽처럼 보이며 대부분의 IP 기반 차단을 우회할 수 있지만, 요청당 비용이 더 높습니다.

Example request

Datacenter

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=datacenter"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "datacenter",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'datacenter',
});
const res = await fetch(url);
console.log(await res.json());

Residential

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=residential"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "residential",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'residential',
});
const res = await fetch(url);
console.log(await res.json());

See also

• Geolocation
• Sessions