当一个项目需要从网络获取数据时,第一个岔路口很简单:使用数据源的官方 API,还是从其网页中采集数据。这两种方式都是获取数据的合法手段,团队往往会基于原则支持其中一种。但实际上,正确答案取决于 API 实际提供了什么、页面展示了什么,以及项目需要什么。
本指南从决定真实项目选择的各项因素出发,比较这两种方式,解释各自的优势所在,并探讨将两者结合使用这一常见的折中方案,包括使用 web scraping API,它能像官方 API 一样把页面转换为结构化数据。
简要版本
| 因素 | 官方 API | 网页采集 |
|---|---|---|
| 可用数据 | 仅限提供方选择公开的内容 | 公开页面上显示的任何内容 |
| 格式 | 结构化(通常为 JSON),有文档说明 | 需要解析或提取的 HTML |
| 稳定性 | 有版本管理,变更会提前通知 | 页面布局变化时会失效 |
| 限制 | 速率限制、配额,有时需付费套餐 | 取决于自身能力、网站的容忍度及其条款 |
| 条款 | 明确的许可,说明可以做什么 | 取决于网站条款和法律 |
| 覆盖范围 | 一个 API 对应一个提供方 | 任何网站、任何市场,方法相同 |
| 你看到的内容 | 提供方的数据模型 | 特定地点的访问者所看到的内容 |
如果官方 API 能以你所需的量级、在允许你使用的条款下提供所需字段,就从它开始。只有当这三个条件之一不满足时,采集才有用武之地。
何时官方 API 是更好的选择
- 你需要的数据就在其中。 许多 API 相当慷慨:目录数据、公开资料、财务申报、开放的政府数据集。我们在何时不需要住宅代理的测试中发现,我们尝试的每一个公开 API 在不使用任何代理的情况下都能可靠运行。
- 你需要的是稳定性而非广度。 一个有版本管理和变更通知的 API,比一个需要跟踪页面布局的解析器更省维护成本。
- 许可条款很重要。 如果你要发布、转售数据或基于数据构建产品,API 的条款会明确告诉你哪些是被允许的。而对于采集到的数据,你得自己厘清这一点。
- 你需要任何页面都不展示的数据。 有些 API 会公开历史记录、标识符或批量导出数据,这些在网页上是看不到的。
何时网页采集是更好的选择
- 不存在 API, 这是网络上大多数情况:大多数零售商、本地商家、新闻网站和目录都没有公开的数据 API。
- API 遗漏了你需要的内容。 API 经常会省略页面上存在的字段:当前促销信息、库存提示、评论、展示给购物者的确切价格。
- 你需要用户实际看到的内容。 价格、排名、广告和库存情况往往因地点、设备和语言而异。API 提供的是提供方的权威数据;页面展示的是特定市场中的实际体验。要采集这种视图,通常意味着需要从该市场内部发起页面请求,这正是住宅代理发挥作用的地方。
- 你需要以同样的方式处理众多数据源。 一套采集方案可以覆盖上百个零售商;而上百个 API 则意味着上百套集成、密钥和速率限制方案,前提是它们确实存在。
- API 的限制不符合需求。 配额、定价或审批流程可能使 API 在你所需的量级下变得不切实际。
折中方案
选择很少是非此即彼的。
两者都用。 一种常见模式是:用 API 获取稳定的核心数据(产品标识符、目录结构),用采集获取 API 所缺失的内容(实时价格、促销信息、本地库存)。各自发挥所长。
使用页面自身的 API。 许多现代网站会从内部的 JSON 端点加载内容。在适合使用它们的场合,这种方式兼具采集的覆盖范围和 API 的整洁格式。我们关于寻找页面背后的 API 的研究展示了这类数据存在的频率,以及在依赖它之前应检查哪些内容。
使用页面上已有的结构化数据。 许多页面为搜索引擎嵌入了 JSON-LD:产品名称、价格、评分、营业时间。读取这些数据远比解析可见布局更稳健。参见提取 JSON-LD 而非解析 HTML。
使用 web scraping API。 web scraping API 接收一个 URL,返回页面内容,或以 JSON 形式返回提取出的字段,同时处理代理、浏览器和重试。对你的代码而言,它的行为很像一个官方 API:输入一个请求,输出结构化数据。在数据源自身有合适 API 的情况下,它并不能替代该 API,但它消除了采集工作中大部分的维护负担。我们的web scraping API 新手指南详细讲解了使用方法,而我们的自建还是购买指南则说明了在何种情况下自行运行采集基础设施仍然合理。
如何逐步决策
- 列出你需要的字段, 并为每个字段注明它出现在哪里:API 中、页面上,或两者皆有。
- 核对 API 的条款和限制 是否符合你的用途和量级。
- 检查页面所展示的视图。 你需要的内容是否因地点或设备而异?如果是,API 可能展示不出来。
- 统计数据源数量。 一两个拥有优质 API 的数据源倾向于使用 API;众多数据源则倾向于采用采集方式。
- 估算维护成本。 API 集成大多一次性完成;而采集器则需要监控,并随着页面变化偶尔进行修复。
- 按字段而非按项目来选择。 从 API 获取部分字段,从页面获取另一部分字段是正常的做法。
两条路径上的责任
使用 API 意味着要遵守其条款:配额、署名要求、允许的用途。从页面采集数据意味着要遵守对你具有约束力的网站条款,尊重 robots.txt 和速率限制,避开登录后的内容,并依据适用法律处理任何个人数据。这两条路径都不是没有义务的,只是义务被写在了不同的地方。
常见问题
使用 API 更好,还是采集网站更好?
当官方 API 能以你所需的量级、在允许你使用的条款下提供所需数据时,就使用它。当不存在 API、API 遗漏了你需要的内容,或者你需要特定市场用户所看到的数据时,就进行采集。
网页采集比 API 更可靠吗?
通常不如 API 可靠,因为页面布局会在没有通知的情况下发生变化,而 API 有版本管理。提取规则、页面上的结构化数据和监控可以缩小这一差距,而 web scraping API 能替你处理大部分维护工作。
我可以同时使用 API 和网页采集吗?
可以,许多团队正是这样做的:用 API 获取数据中稳定的核心部分,用采集获取 API 未提供的字段,例如实时价格、促销信息或本地库存。
什么是 web scraping API?
这是一种服务,它通过自己的代理和浏览器为你抓取网页,并以 HTML 或 JSON 形式返回提取出的字段。它让采集在你的代码看来就像一次 API 调用,不过它并不能替代网站自身的官方 API。
总结
如果官方 API 能在合适的条款下提供你所需的内容,就从它开始。对于 API 未涵盖的部分再转向采集:没有 API 的数据源、API 遗漏的字段,以及价格和库存的本地实际视图。大多数真实项目最终会两者并用,按字段而非按项目做选择,而 web scraping API 让采集这一端的体验更接近 API 那一端。