详解
搜索引擎结果页面（SERP）包含大量结构化数据：自然搜索结果（包含排名位置、标题、URL、描述）、广告（顶部和底部）、精选摘要、知识面板、图片和视频包、本地包和地图结果、相关搜索，以及"People Also Ask"框。SERP 抓取是以编程方式提取所有这些数据的技术领域。
其主要应用场景包括：SEO 监控（跨数千个关键词追踪自身及竞争对手的排名）、竞争情报（了解哪些竞争对手在竞价哪些关键词，以及使用了什么广告创意），以及搜索功能分析（Google 在什么情况下会为某个查询展示精选摘要，以及由谁占据该位置）。许多你耳熟能详的工具，例如 Ahrefs、SEMrush、Sistrix、SERanking，都建立在大规模 SERP 抓取管道之上。
运营层面的挑战主要体现在两个方面。搜索引擎（尤其是 Google）会对高频抓取行为采取积极的限速措施并弹出 CAPTCHA 验证。此外，SERP 结果受地理位置影响高度个性化，纽约用户搜索"best running shoes"所看到的结果与东京用户看到的截然不同。生产级 SERP 抓取需要具备地理定向能力的住宅代理、指纹管理，以及针对各搜索引擎限速行为专门调优的轮换策略。
工作原理
SERP scraper 向搜索引擎的搜索端点（例如 `https://www.google.com/search?q=...&gl=us&hl=en`）发送搜索请求，通常附带明确的国家（`gl`）和语言（`hl`）参数。请求通过目标国家的住宅代理进行路由，以确保搜索引擎返回地理位置正确的 SERP。响应的 HTML（或某些结构化数据端点返回的 JSON）会被解析为自然列表、广告和功能卡片，每项均包含其在页面中的位置。
为实现大规模采集，scraper 对每个查询使用一个全新的住宅 IP，以多秒间隔控制请求频率，并携带与现代 Chrome 相似的请求头。当返回 CAPTCHA 或限速页面时，scraper 会轮换 IP 并重试。