博客
指南、教程与 洞察
从 Shifter 团队了解住宅代理、网页抓取、数据采集策略及行业最佳实践。
数据抓取
数据抓取 2 分钟阅读
构建住宅代理管理器:轮换、健康检查与重试
决定使用哪个出口、何时将其淘汰以及如何恢复的逻辑应归属于同一个组件。以下是设计方法以及它所需的状态。
知识
知识 1 分钟阅读
住宅代理关键性能指标:真正重要的衡量标准
仅凭成功率所隐藏的信息比它揭示的还多。以下是能够告诉抓取团队负责人管道是否健康的指标,以及每个指标会影响什么。
住宅代理
住宅代理 2 分钟阅读
使用住宅代理进行速率限制和请求节流
庞大的代理池并不能让你免受速率限制的约束,它只是改变了限制生效的位置。以下是如何按目标、按IP以及在整个代理群中控制请求节奏的方法。
数据抓取
数据抓取 2 分钟阅读
使用住宅代理设置正确的Headers和User-Agent
干净的住宅IP能让你到达门口。而Headers决定了进门之后你看起来是否像一个浏览器,一致性比任何单一数值都更重要。
知识
知识 1 分钟阅读
如何从自己的数据中检测SERP波动和谷歌算法更新
公开的波动追踪工具衡量的是别人的关键词。以下是如何从自己的排名数据构建波动信号,并区分真正的更新与噪音。
住宅代理
住宅代理 1 分钟阅读
如何在使用住宅代理时防止DNS泄露
如果你的客户端在本地解析主机名,你的DNS请求就不会经过代理。这会泄露你的位置信息,并悄无声息地破坏基于地理位置的数据采集。
住宅代理
住宅代理 1 分钟阅读
如何为住宅代理设置IP白名单
简短回答:住宅网关不使用IP白名单,而是使用凭据认证。以下是原因、白名单适用的场景,以及如何在那里进行设置。
住宅代理
住宅代理 2 分钟阅读
住宅代理认证:解决407和凭据错误
407表示代理拒绝了你的凭据,原因几乎总是以下三种之一。按照这个诊断顺序,几分钟内就能找到问题所在。
知识
知识 1 分钟阅读
住宅代理SLA与正常运行时间保证详解
代理SLA涵盖的是网关可用性,而非目标网站是否放行你的请求。以下是这些数字实际承诺的内容,以及签约前应该问清楚的问题。