博客

指南、教程与 洞察

从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。

数据抓取
数据抓取 1 分钟阅读

如何抓取重度防护的站点:从朴素请求到全隐身的升级阶梯

别把每一次抓取都跑成最高隐身。把力气匹配到目标:先用一个朴素客户端加一个干净 IP,只有当一个站点逼你时才往上爬。

Chris Collins Chris Collins · 2026年8月12日
数据抓取
数据抓取 1 分钟阅读

如何抓取需要登录的站点:会话、Cookie 与规模化的粘性代理

登录之后的抓取,讲的是身份、而不是轮换。持久化会话 Cookie,把每个账户钉在一个干净的粘性 IP 上,并在不被封的情况下保持登录。

Chris Collins Chris Collins · 2026年8月11日
数据抓取
数据抓取 1 分钟阅读

为什么你的爬虫在加载页面之前就被拦截:TLS 和 HTTP/2 指纹识别

用干净的住宅 IP、真实的 User-Agent,却依然瞬间被拦截?反爬机制会在 TLS 和 HTTP/2 层对你的 HTTP 客户端进行指纹识别,在你的请求被读取之前就已完成。

Chris Collins Chris Collins · 2026年8月10日
知识
知识 1 分钟阅读

什么是反检测浏览器,以及住宅代理如何嵌入其中

反检测浏览器给每个配置文件它自己的设备指纹。但那只是身份的一半,IP 是另一半,而这两者必须匹配。

Chris Collins Chris Collins · 2026年8月9日
知识
知识 2 分钟阅读

如何在 Scrapy 中用自定义中间件轮换住宅代理

Scrapy 按 meta 设代理,但 Proxy-Authorization 缓存这个坑会让轮换失效。一个自定义中间件,干净地轮换身份、并在遇到封锁时重试。

Chris Collins Chris Collins · 2026年8月8日
知识
知识 2 分钟阅读

如何在 Selenium 中使用住宅代理(含需认证的代理)

Selenium 设代理主机很容易,但没有内建方式来传凭据。如何用 Selenium Wire、一个扩展、或 CDP 来处理需认证的代理。

Chris Collins Chris Collins · 2026年8月7日
数据抓取
数据抓取 1 分钟阅读

如何在规模上可靠地抓取分页与无限滚动

分页正是抓取器无声丢数据的地方:跳过的页、重复计数、过早停下。如何把每个条目恰好取一次,并知道你到底有没有取完。

Chris Collins Chris Collins · 2026年8月6日
住宅代理
住宅代理 4 分钟阅读

Shifter 对比 Decodo:我们统计了 5 个国家的每一个存活 IP

Shifter 的价格低至 $0.75/GB,而 Decodo 为 $2.75。我们在 5 个国家分别通过两者发送了 560,000 次请求,并统计了每一个唯一出口 IP。完整结果和方法。

Chris Collins Chris Collins · 2026年8月5日
知识
知识 2 分钟阅读

如何在 Puppeteer 中使用住宅代理(含 page.authenticate)

Puppeteer 里的代理:代理放进启动参数,凭据放进 page.authenticate,经一个 gateway 做按页面地理轮换,以及资源拦截。

Chris Collins Chris Collins · 2026年8月5日