指南、教程与 洞见
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
隆重推出:钱包自动充值
设一个阈值和一个充值额,你的 Shifter 钱包就会自己充值,让按用量计费的扣款永不暂停你的代理。带每月上限,随时可关。
如何在 Node.js 中用 Axios 和 Got 使用住宅代理
Node.js 里的代理:为什么 Axios 需要 https-proxy-agent 和 proxy:false、Got 的 agent 选项、undici 给 fetch 用的 ProxyAgent,以及按请求的地理轮换。
如何用 Kubernetes 扩展住宅代理抓取工作负载
在 Kubernetes 上跑抓取:代理凭据用 Secret,用 Downward API 给每个 Pod 分配会话身份,按队列深度自动扩缩,以及优雅关停。
网页抓取最佳实践:如何在不伤害目标站点的前提下采集数据
负责任的网页抓取:遵守 robots.txt、限速、遇到 429 就退避、缓存、在非高峰时段抓取。做个好客人,被封的概率也会低得多。
如何在 PHP 中用 cURL 和 Guzzle 使用住宅代理
PHP 里的代理:cURL 的 CURLOPT_PROXY 和 CURLOPT_PROXYUSERPWD、Guzzle 的 proxy 选项与连接复用、CURLOPT_HTTPPROXYTUNNEL,以及按请求的地理轮换。
如何在 Java 中用 OkHttp 和 Apache HttpClient 使用住宅代理
Java 里的代理:OkHttp 的 proxyAuthenticator 坑、Apache HttpClient 默认每路由 5 的连接池上限、entity 消费,以及按请求的地理轮换。
如何在 Go 中用 net/http 和 Colly 使用住宅代理
Go 里的代理:transport 配置、会毁掉连接复用的 body 排空与 MaxIdleConnsPerHost 两个坑、按请求的地理轮换,以及 Colly 的 SetProxyFunc。
为什么你的住宅代理请求会超时
一份代理超时的诊断指南:连接超时 vs 读取超时、过紧的地理过滤、按数据中心调的超时值,以及能快速找到真正原因的那几项检查。
住宅代理故障转移:构建可靠的多区域数据管道
重试处理的是一个坏请求。故障转移处理的是一个坏依赖。如何设计能扛住封锁潮、地理降级和供应商事故的代理支撑管道。