プロキシ

Web Scraping APIは、195以上のジオロケーションにまたがる数百万のIPアドレスのプールを通してリクエストを実行します。proxy_typeでターゲットに適したプールを選択してください。

Endpoint

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&proxy_type=<datacenter|residential>

Parameters

Parameter	Type	Required	Description
api_key	string	yes	あなたのWeb Scraping APIキー
url	string	yes	取得対象のターゲットURL
proxy_type	string	no	datacenter（デフォルト）またはresidential。

Datacenter vs residential

データセンタープロキシはISPではなくクラウドプロバイダーに由来します。高速で安価かつ匿名性がありますが、一部のターゲットはデータセンターのIPレンジを事前にフラグ付けします。Shifterのデータセンタープールはプライベートであり、ブラックリスト化を低く抑えています。

レジデンシャルプロキシは、ISPが自宅ユーザーに割り当てる実在のIPです。正規の一般消費者トラフィックに見えるため、ほとんどのIPベースのブロッキングを回避できますが、リクエストあたりのコストは高くなります。

Example request

Datacenter

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=datacenter"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "datacenter",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'datacenter',
});
const res = await fetch(url);
console.log(await res.json());

Residential

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=residential"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "residential",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'residential',
});
const res = await fetch(url);
console.log(await res.json());

See also

• ジオロケーション
• セッション