Screaming Frog 和 Sitebulb 这类桌面爬虫会在短时间内向同一个网站发送成百上千个请求，而且全部来自同一个 IP 地址。抓取自己的网站时，这很少成为问题。但如果抓取的是竞争对手的网站、大型电商商品目录或任何部署了严格防火墙的网站，抓取往往会中途停止：出现 403 和 429 响应，CAPTCHA 页面被当作内容计入，或者网站悄悄向你的办公 IP 返回另一个版本。
代理可以解决地址这一侧的问题。它也是你以其他国家访客视角审计网站的方式，这对国际 SEO 非常重要。本文介绍审计在什么情况下真正需要代理、如何在主流工具中进行设置，以及哪些设置决定了抓取能否成功。这也是我们更广泛的 SEO 监控工作的一部分，在这类工作中，从正确的地点查看页面就已经完成了一半。
网站审计什么时候需要代理
审计不归你管理的网站。 竞争对手审计、内容差距研究以及为潜在客户做的售前审计，抓取的都是从未同意你抓取的网站。防火墙和 CDN 会按 IP 限速，而来自单个地址的突发流量正是它们最容易封锁的模式。
检查本地化版本。 网站会按国家进行重定向，调整价格和货币，有时还会在某个市场之外隐藏整个板块。从办公室发起的抓取永远只能看到一个版本。通过每个目标国家的 IP 进行抓取，可以看到访客和本地搜索用户实际获得的内容，并检查 hreflang 替代版本是否真的能够正常访问。我们关于利用 hreflang 找到页面所有语言版本的指南介绍了审计的这一方面。
发现基于地理位置或网络的伎俩。 有些网站，以及许多被黑的网站，会向办公网络和数据中心网络返回与家庭用户不同的内容。从正确市场的家庭网络进行抓取，才能看到真实版本。
什么时候不需要代理。 对于你自己的网站，更好的做法是在防火墙或 CDN 中将爬虫的 IP 地址加入允许名单，或者抓取预发布（staging）副本。对于一个你完全可以直接放行的抓取任务，使用代理只会增加成本和多一个出问题的环节。
在 Screaming Frog 中设置代理
Screaming Frog 的 SEO Spider 在 Windows 和 Linux 上的代理设置位于 File > Settings > Proxy，在 macOS 上位于 Screaming Frog SEO Spider > Settings > Proxy。勾选 “Use Proxy Server”，输入代理地址和端口，并填写代理凭据。
Screaming Frog 官方文档中的三个细节决定了你该如何使用它：
- 只能配置一个代理服务器。 没有内置的列表轮换功能，所以如果需要轮换，必须由代理本身来处理。
- 必须重启工具，代理更改才能生效。
- 没有例外规则。 爬虫的所有 HTTP 和 HTTPS 流量要么全部经过代理，要么全部不经过。
正因为只能设置一个代理，网关式的住宅代理非常适合爬虫：你只需输入一个端点，网关会根据用户名中的定位参数决定每个请求使用哪个出口 IP。如果抓取一开始就因身份验证错误而失败，我们关于修复 407 代理身份验证错误的指南列出了常见原因。
在 Sitebulb 中设置代理
在 Sitebulb 中，从顶部导航栏打开 Settings，然后进入 Proxy 选项卡。这些是全局设置，会成为你之后新建的每个审计的默认配置。审计自己的网站之前，记得先关闭代理，否则这些审计也会经过代理运行。
其他审计工具也遵循同样的模式：在应用或项目设置中提供一个代理字段。基于云的爬虫通常从自己的服务器运行，根本不支持代理，这也是桌面爬虫在竞争对手分析中仍然普遍的原因之一。
轮换还是粘性：选择会话类型
使用网关时，你可以选择每个请求都获得新的出口 IP，还是让抓取在一段时间内保持同一个 IP。
按请求轮换会将抓取分散到大量地址上，因此没有任何单个 IP 发送的流量足以触发限速。它适用于静态页面和大型商品目录，这类页面无需登录，Cookie 也很少。
粘性会话会在设定的时间内保持同一个 IP。如果网站会将 Cookie、同意选项或所选国家与会话绑定，或者在抓取中途切换 IP 会触发新的机器人检测，就应使用粘性会话。会话时长应设置得比一次典型的抓取突发更长，以免相关页面加载时 IP 发生变化。
我们的代理 IP 轮换决策框架更详细地分析了其中的取舍。对于本地化审计，请在代理用户名中加入国家（如有需要还可加入城市），让每个请求都从你正在审计的市场出口。
比代理更重要的抓取设置
代理改变的是请求的来源，并不能让激进的抓取变得可以接受，爬虫中的几项设置同样重要。
速度。 Screaming Frog 默认使用 5 个线程进行抓取，并允许你在 Configuration > Speed 中按每秒 URL 数限制抓取速度。抓取别人的网站时，请保持较低的速率，宁可让抓取多花些时间。把快速抓取分散到许多 IP 上，对接收请求的服务器来说仍然是快速抓取。
用户代理。 在 Configuration > User-Agent 中，你可以选择以浏览器或 Googlebot 的身份抓取。来自非 Google IP 的 Googlebot 用户代理很容易被识破，会验证爬虫身份的网站会将其视为可疑请求。对于竞争对手审计，使用普通浏览器的用户代理更为稳妥。
抓取哪些内容。 住宅流量通常按 GB 计费。图片、字体、视频和脚本可能占据页面体积的大部分。如果审计关注的是 HTML、标题、链接和状态码，请排除不需要的资源类型。JavaScript 渲染会加载浏览器所需的全部资源，所以只在需要的板块启用。
Robots.txt。 两款工具都默认遵守 robots.txt。对于不归你所有的网站，请保持这一设置。
常见问题
Screaming Frog 能轮换代理吗？
不能从列表中轮换。Screaming Frog 只接受一个代理服务器。要轮换 IP，请将它指向一个按请求或按会话分配新出口 IP 的代理网关。
抓取自己的网站需要代理吗？
通常不需要。在防火墙或 CDN 中将爬虫 IP 加入允许名单更简单，也更便宜。只有当你需要从其他国家或网络查看自己的网站时，才需要使用代理。
哪种代理类型最适合 SEO 爬虫？
对于有严格机器人防护的网站以及查看本地化版本，住宅代理最为可靠，因为请求来自所选国家的家庭网络。数据中心代理更便宜，可以用于防护较少的网站。
为什么我的抓取出现 403 或 429 错误？
网站正在封锁你的请求或对其限速。首先降低抓取速度，如果限制是按地址计算的，再通过轮换 IP 进行抓取。
总结
桌面爬虫的每个请求都来自同一个 IP，这对抓取自己的网站没有问题，但对抓取其他网站就是个麻烦。进行竞争对手审计和国际审计时，请将 Screaming Frog 或 Sitebulb 指向单个网关端点，根据网站情况选择轮换会话或粘性会话，定位到你正在审计的国家，并保持较慢的抓取速度，只聚焦于你真正需要的页面和资源。