初创公司使用代理有一个明确的原因：他们需要的数据是公开的，但在任何规模下收集起来都很麻烦，而且他们往往在负担得起数据团队之前就需要这些数据。本指南涵盖哪些用例值得在早期投入，每个用例实际需要什么，以及第一个月的花费。
这个框架很重要。大公司可以并行运行下面的每一个用例。一个尚未产生收入、只有五个人的团队做不到，也不应该去尝试。
小团队能承担的范围
在选择用例之前，有三个约束条件是大公司不需要面对的：
- 预算以每月几十美元计，而不是几千美元。 入门级住宅套餐起价约十美元，相对于一个工程师一天的成本来说几乎可以忽略。这才是正确的思考方式：问题在于这些数据能否省下一天的人工，而不在于它是否免费。
- 工程时间才是真正的成本。 写一个爬虫要花一天时间，而且目标网站每次改版都要重新维护。要为维护预留预算，或者使用托管 API，用金钱而不是精力来支付成本。
- 从一个用例开始。 把竞品定价这一件事做好的团队，胜过把四件事都做得马马虎虎的团队。选一个最贴近收入的用例。
该从哪个用例开始
| 用例 | 代理类型 | 典型流量 | 部署难度 | 适合的起点 |
|---|---|---|---|---|
| 竞品与市场定价监测 | 轮换住宅代理 | 每月 2 到 10 GB | 低到中等 | 你销售的产品有可比较的竞争对手 |
| SEO 与搜索结果监测 | 轮换住宅代理 | 每月 1 到 5 GB | 低 | 自然搜索是一个真实的获客渠道 |
| 线索与市场调研 | 轮换住宅代理 | 每月 1 到 5 GB | 中等 | 你做 B2B 业务，目前的获客调研还靠人工 |
| 多地区品牌与广告检查 | 轮换住宅代理 | 每月低于 2 GB | 低 | 你在多个国家投放付费广告 |
| 多账号运营 | ISP 代理 | 按 IP 固定收费 | 低 | 你在多个地区或多个客户名下管理账号 |
竞品与市场定价监测
对任何销售产品的公司来说，这是与收入最直接相关的用例。按计划收集竞品价格、库存状态和促销信息，你就能有意识地定价，而不是靠猜测。
需要搭建的内容： 针对 5 到 20 个竞品产品页面的爬虫，每天运行一到两次，将结果写入表格或小型数据库。使用轮换住宅代理，因为零售网站会按地理位置定价，并防范批量采集。
实际流量： 20 个竞品页面每天两次，大约每月 1,200 个页面。按每页 1 到 2 MB 计算，不到 3 GB。
需要注意： 价格可能因访问者所在位置而不同。要从你实际销售的目标地区采集数据，否则数字不具可比性。
SEO 与搜索结果监测
搜索结果是个性化和本地化的，因此从你自己的机器上检查自己的排名，得到的信息价值很小。代理可以让你看到每个市场的普通访客看到的结果。
需要搭建的内容： 针对你销售所在地区的目标关键词进行排名追踪。使用支持城市级定位的轮换住宅代理，或者使用 SERP API，如果你不想自己维护一个搜索爬虫的话，那是这份清单里比较脆弱的一项。
实际流量： 很小。每天几百次关键词检查，每月远低于 1 GB。
线索与市场调研
从公开目录、行业名录和公开资料中收集公司数据，再将其整理成销售流程可用的信息。
需要搭建的内容： 从少量公开来源收集数据，整理成结构化列表。使用轮换住宅代理。
需要注意： 这是最有可能涉及个人数据的用例，无论该页面是否公开，都会带来数据保护方面的义务。在扩大规模之前先弄清楚你的法律依据。我们关于代理与数据抓取合法性的指南涵盖了这方面的内容。
多地区品牌与广告检查
如果你投放广告，你就看不到另一个国家的客户实际看到的内容。代理可以让你从目标市场检查广告投放位置、创意和落地页，并发现广告欺诈或投放错误。
需要搭建的内容： 定期从你投放广告的每个地区进行检查。流量非常低，是这份清单里运营成本最低的一项。
多账号运营
对于一个正在成长的公司来说，在同一平台上运营多个账号有很多合理的理由：每个区域市场有独立账号，代理机构分别持有客户账号，或者品牌监测账号与主业务账号分开管理。
需要搭建的内容： 在有严格限制的平台上，为每个账号使用一个稳定的地址，使用 ISP 代理 以保证地址不变。做好映射记录，因为把账号迁移到新地址是最常见的自造问题。
有必要说清楚： 这是关于清晰、分开地运营你有权持有的账号，不是绕开平台关于账号数量限制规则的技巧。平台执行这些规则的手段远不止 IP 地址一项，一个为规避规则而建立的账号，随时可能一夜之间消失。
成本如何计算
代理定价采用两种模式之一。
按 GB 计费，用于轮换住宅代理。你付的是流量费用，而不是地址费用，所以成本取决于你收集的数据量。入门套餐大约每 GB 五到六美元，量大时会降到每 GB 一美元左右。一 GB 大约相当于 500 到 2,000 个普通 HTML 页面，因此对于文本采集来说，实际能用得比听起来更久。
按 IP 每月计费，用于 ISP 代理。无论流量多少，每个地址都按固定费率收费，适合用少量地址持续工作的账号运营场景。
估算第一个月的花费
- 统计页面数量。 来源数量乘以每个来源的页面数，再乘以每天检查次数，再乘以 30。
- 乘以页面大小。 普通页面按 1 到 2 MB 计算。如果目标网站需要 JavaScript 渲染，用量会明显更高，因为还要拉取脚本、样式和图片。
- 加上 30% 的重试余量。 有些请求会失败并需要重复请求，要为此预留预算。
- 与入门套餐对比。 大多数早期用例落在个位数 GB 的低区间，正好是最小的套餐档位。
最常见的估算错误，是忘记被拦截的请求同样会消耗带宽。一个失败率高的廉价服务商，其每个成功页面的实际成本可能比更好的服务商更高。
需求如何随着规模增长而变化
启动阶段： 一个用例，入门套餐，输出到表格。目标是证明这些数据能改变决策。
增长阶段： 两到三个用例，计划性地收集到真正的数据库中，流量达到几十 GB 级别。这时按 GB 计费的费率开始变得重要，托管 API 相对于工程时间的性价比也开始值得考量。
规模化阶段： 数据收集变成基础设施。需要为需要登录的工作分配专属地址，监控失败率，并有专人负责。成本讨论的焦点从套餐价格转向维护爬虫的总成本。
升级套餐的信号不是触及带宽上限，而是发现有人每周要花好几个小时来维持数据收集正常运行。
结语
代理足够便宜，以至于对初创公司来说，问题从来都不真正是套餐价格。真正的问题是这些数据能否改变决策，以及你是否有足够的工程精力持续收集它。
从最贴近收入的用例开始，用入门级住宅套餐运行它，只有在它产生了你会据此行动的结果之后，再考虑扩展。