プロキシ

Web Scraping APIは、195以上のジオロケーションにまたがる数百万のIPアドレスのプールを通してリクエストを実行します。proxy_typeでターゲットに適したプールを選択してください。

エンドポイント

GET https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=<TARGET_URL>&proxy_type=<datacenter|residential>

パラメーター

パラメーター	型	必須	説明
api_key	string	はい	あなたのWeb Scraping APIキー
url	string	はい	取得対象のターゲットURL
proxy_type	string	いいえ	datacenter（デフォルト）またはresidential。

データセンター vs レジデンシャル

データセンタープロキシはISPではなくクラウドプロバイダーに由来します。高速で安価かつ匿名性がありますが、一部のターゲットはデータセンターのIPレンジを事前にフラグ付けします。Shifterのデータセンタープールはプライベートであり、ブラックリスト化を低く抑えています。

レジデンシャルプロキシは、ISPが自宅ユーザーに割り当てる実在のIPです。正規の一般消費者トラフィックに見えるため、ほとんどのIPベースのブロッキングを回避できますが、リクエストあたりのコストは高くなります。

リクエスト例

データセンター

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=datacenter"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "datacenter",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'datacenter',
});
const res = await fetch(url);
console.log(await res.json());

レジデンシャル

curl

curl "https://scrape.shifter.io/v1?api_key=YOUR_API_KEY&url=https://httpbin.org/get&proxy_type=residential"

Python

import requests

r = requests.get("https://scrape.shifter.io/v1", params={
    "api_key": "YOUR_API_KEY",
    "url": "https://httpbin.org/get",
    "proxy_type": "residential",
})
print(r.json())

Node.js

import fetch from 'node-fetch';

const url = 'https://scrape.shifter.io/v1?' + new URLSearchParams({
  api_key: 'YOUR_API_KEY',
  url: 'https://httpbin.org/get',
  proxy_type: 'residential',
});
const res = await fetch(url);
console.log(await res.json());

関連項目

• ジオロケーション
• セッション