博客

指南、教程与 洞见

从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。

新闻
新闻 1 分钟阅读

隆重推出:钱包自动充值

设一个阈值和一个充值额,你的 Shifter 钱包就会自己充值,让按用量计费的扣款永不暂停你的代理。带每月上限,随时可关。

James Meadow James Meadow · 2026年7月30日
知识
知识 4 分钟阅读

如何在 Node.js 中用 Axios 和 Got 使用住宅代理

Node.js 里的代理:为什么 Axios 需要 https-proxy-agent 和 proxy:false、Got 的 agent 选项、undici 给 fetch 用的 ProxyAgent,以及按请求的地理轮换。

Chris Collins Chris Collins · 2026年7月29日
知识
知识 3 分钟阅读

如何用 Kubernetes 扩展住宅代理抓取工作负载

在 Kubernetes 上跑抓取:代理凭据用 Secret,用 Downward API 给每个 Pod 分配会话身份,按队列深度自动扩缩,以及优雅关停。

Chris Collins Chris Collins · 2026年7月28日
数据抓取
数据抓取 1 分钟阅读

网页抓取最佳实践:如何在不伤害目标站点的前提下采集数据

负责任的网页抓取:遵守 robots.txt、限速、遇到 429 就退避、缓存、在非高峰时段抓取。做个好客人,被封的概率也会低得多。

Chris Collins Chris Collins · 2026年7月27日
知识
知识 4 分钟阅读

如何在 PHP 中用 cURL 和 Guzzle 使用住宅代理

PHP 里的代理:cURL 的 CURLOPT_PROXY 和 CURLOPT_PROXYUSERPWD、Guzzle 的 proxy 选项与连接复用、CURLOPT_HTTPPROXYTUNNEL,以及按请求的地理轮换。

Chris Collins Chris Collins · 2026年7月26日
知识
知识 3 分钟阅读

如何在 Java 中用 OkHttp 和 Apache HttpClient 使用住宅代理

Java 里的代理:OkHttp 的 proxyAuthenticator 坑、Apache HttpClient 默认每路由 5 的连接池上限、entity 消费,以及按请求的地理轮换。

Chris Collins Chris Collins · 2026年7月25日
知识
知识 4 分钟阅读

如何在 Go 中用 net/http 和 Colly 使用住宅代理

Go 里的代理:transport 配置、会毁掉连接复用的 body 排空与 MaxIdleConnsPerHost 两个坑、按请求的地理轮换,以及 Colly 的 SetProxyFunc。

Chris Collins Chris Collins · 2026年7月24日
知识
知识 2 分钟阅读

为什么你的住宅代理请求会超时

一份代理超时的诊断指南:连接超时 vs 读取超时、过紧的地理过滤、按数据中心调的超时值,以及能快速找到真正原因的那几项检查。

Matt Brown Matt Brown · 2026年7月23日
知识
知识 2 分钟阅读

住宅代理故障转移:构建可靠的多区域数据管道

重试处理的是一个坏请求。故障转移处理的是一个坏依赖。如何设计能扛住封锁潮、地理降级和供应商事故的代理支撑管道。

Chris Collins Chris Collins · 2026年7月22日