将Shifter与以下工具配合使用 制作
Make(前身为 Integromat)的 HTTP 模块不提供代理字段——但您可以改用 Shifter 的 Web Scraping API 路由请求。效果相同,每页仅需一次 GET 请求,内置无头渲染。
快速入门
安装
// 添加 HTTP 模块 — 无需安装。 基本用法
// HTTP > Make a Request module configuration:
{
"url": "https://scrape.shifter.io/v1",
"method": "GET",
"qs": [
{ "name": "api_key", "value": "YOUR_SHIFTER_API_KEY" },
{ "name": "url", "value": "https://example.com" },
{ "name": "country", "value": "us" },
{ "name": "render_js", "value": "1" },
{ "name": "session_id", "value": "{{executionId}}" }
],
"parseResponse": true
} 功能特性
示例
通过 Shifter Web Scraping API 使用 HTTP 模块
Make 的 HTTP > 发起请求模块没有代理字段,但 Shifter 的 Web Scraping API 接受目标 URL 以及地理和会话参数作为查询字符串。这是任何 Make 场景的最简路径。
// Module: HTTP > Make a Request
//
// URL: https://scrape.shifter.io/v1
// Method: GET
// Query Strings:
// api_key = {{connection.shifter_api_key}}
// url = https://example.co.uk/products
// country = uk
// render_js = 1 (headless browser)
// session_id = {{executionId}} (sticky residential IP per run)
//
// Parse response: ON -> Make auto-detects JSON / HTML
//
// The response body is the rendered page exactly as a local UK
// user would see it. Pipe into:
// - HTML > Parse HTML (extract elements with CSS selectors)
// - JSON > Parse JSON (for API responses)
// - Text > Match Pattern (regex extraction)
// - Iterator (loop over an array of products) 使用 Iterator 按条目设置国家/地区
遍历地区列表,为每个地区通过对应国家/地区的 HTTP 模块运行请求。每次迭代使用该国家/地区池中的一个住宅 IP。
// Scenario shape:
//
// Trigger
// |
// Set Variables -> regions = [{ country: "us" }, { country: "uk" }, ... ]
// |
// Iterator (regions)
// |
// HTTP > Make a Request
// URL: https://scrape.shifter.io/v1
// Query:
// api_key = {{connection.shifter_api_key}}
// url = https://example.com/{{1.country}}/products
// country = {{1.country}}
// render_js = 1
// session_id = {{1.country}}-{{executionId}}
// |
// HTML > Parse HTML
// |
// Aggregator
// |
// Google Sheets > Add a Row
// Tip: a unique session_id per country lets the gateway reuse the
// same residential IP across that country's requests. If you set
// session_id to {{executionId}} alone, every region competes for the
// same IP — not what you want. 用于可复用 Shifter 连接的 Custom App
如果您有许多场景都需要使用 Shifter,可以构建一个小型 Custom App。连接定义以加密方式存储 API 密钥;单个模块提供一个经过代理和渲染的 HTTP 请求操作。
// In Make's Custom App builder:
//
// Connection (parameters):
// - shifter_api_key (password, required) -> your Shifter API key
//
// Module: "Scrape a Page"
// Type: Action
// Communication:
{
"url": "https://scrape.shifter.io/v1",
"method": "GET",
"qs": {
"api_key": "{{connection.shifter_api_key}}",
"url": "{{parameters.target_url}}",
"country": "{{parameters.country}}",
"render_js": "{{parameters.render_js}}",
"session_id": "{{parameters.session_id}}"
},
"response": {
"output": {
"body": "{{body}}",
"status": "{{statusCode}}"
}
}
}
// Now any scenario in your team's Make org has a one-step
// "Shifter > Scrape a Page" action that handles auth, geo,
// rendering, and sticky sessions in one click. Webhook -> Make -> Shifter 模式
从外部系统触发 Make,通过 Shifter 爬取,然后响应。此模式使 Make 可作为整个技术栈的代理感知爬取 API。
// Scenario:
//
// Webhooks > Custom webhook (POST { url, country })
// |
// HTTP > Make a Request (Shifter Web Scraping API)
// URL: https://scrape.shifter.io/v1
// Query:
// api_key = {{connection.shifter_api_key}}
// url = {{1.url}}
// country = {{1.country}}
// render_js = 1
// session_id = {{1.callerId}}-{{executionId}}
// |
// HTML > Parse HTML (extract structured fields)
// |
// Webhooks > Webhook Response
// Status: 200
// Body: {{ JSON of extracted fields }}
//
// External code calls your Make webhook:
//
// curl -X POST https://hook.eu1.make.com/abc123 \
// -H "Content-Type: application/json" \
// -d '{"url":"https://example.com","country":"us","callerId":"job-42"}' 常见问题
关于将 Shifter 与 制作 搭配使用的常见问题。
标准的 HTTP > Make a Request 模块没有代理字段。推荐的方式是直接调用 Shifter 的 Web Scraping API:GET https://scrape.shifter.io/v1?api_key=...&url=...&country=... 并从响应中读取渲染后的 HTML。效果与原生代理字段相同,且内置了无头渲染功能。
在该运行内的每次 Shifter 调用中传递 session_id={{executionId}}(或从您的触发器派生的任何唯一值)。共享相同 session_id 的请求将通过同一住宅 IP 路由,并在调用之间持久保存 Cookie。会话默认保持粘性 10 分钟。
是的。对地区列表使用迭代器,并将 country 查询参数设置为当前迭代的国家代码(例如 country={{1.country}})。每个请求将通过对应的住宅 IP 池路由。
可以。使用 Make 的 Custom App 构建器将 Web Scraping API 封装为单操作模块。连接参数以加密方式存储 API 密钥;模块参数提供目标 URL、country、render_js 和 session_id。组织中的每个场景都可以直接使用单个「Shifter > 爬取页面」操作。
可以。在查询参数中添加 render_js=1,Web Scraping API 将在服务端运行无头浏览器,并将完整渲染的 HTML 返回给 Make。无需额外模块。
在 Custom App 上使用 Make 的连接存储,或在企业套餐中将其存储为场景变量。避免将 API 密钥直接粘贴到 HTTP 模块的查询字符串中——这样会在执行历史和团队审计日志中可见。
开始将Shifter与以下工具配合使用 制作
通过 Web Scraping API 或自定义应用,将 Shifter 的 205M+ 住宅和 ISP 代理接入您的 Make 场景。支持每次执行的粘性会话、按条目地理定位、内置无头渲染,以及完整的 Iterator + Aggregator 支持。