博客
指南、教程与 洞察
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
知识
知识 4 分钟阅读
如何在 PHP 中用 cURL 和 Guzzle 使用住宅代理
PHP 里的代理:cURL 的 CURLOPT_PROXY 和 CURLOPT_PROXYUSERPWD、Guzzle 的 proxy 选项与连接复用、CURLOPT_HTTPPROXYTUNNEL,以及按请求的地理轮换。
知识
知识 3 分钟阅读
如何在 Java 中用 OkHttp 和 Apache HttpClient 使用住宅代理
Java 里的代理:OkHttp 的 proxyAuthenticator 坑、Apache HttpClient 默认每路由 5 的连接池上限、entity 消费,以及按请求的地理轮换。
知识
知识 4 分钟阅读
如何在 Go 中用 net/http 和 Colly 使用住宅代理
Go 里的代理:transport 配置、会毁掉连接复用的 body 排空与 MaxIdleConnsPerHost 两个坑、按请求的地理轮换,以及 Colly 的 SetProxyFunc。
知识
知识 2 分钟阅读
为什么你的住宅代理请求会超时
一份代理超时的诊断指南:连接超时 vs 读取超时、过紧的地理过滤、按数据中心调的超时值,以及能快速找到真正原因的那几项检查。
知识
知识 2 分钟阅读
住宅代理故障转移:构建可靠的多区域数据管道
重试处理的是一个坏请求。故障转移处理的是一个坏依赖。如何设计能扛住封锁潮、地理降级和供应商事故的代理支撑管道。
知识
知识 1 分钟阅读
用住宅代理采集机票、酒店与旅行票价数据
旅行票价是按销售点(POS)定价的、基于会话的,而且易逝。为什么准确的机票和酒店数据采集,要按市场依赖住宅代理。
知识
知识 2 分钟阅读
住宅代理与 GDPR:一份合规概览
IP 地址可能就是个人数据,而代理并不能匿名化任何东西。合规团队真正该就住宅代理提出的那些 GDPR 问题。
数据抓取
数据抓取 2 分钟阅读
如何用住宅代理采集 eBay 的商品与卖家数据
eBay 的已售商品,是最接近一个公开价格预言机的东西。如何按站点精准采集商品与卖家数据,用住宅代理。