什么是 robots.txt？

robots.txt本身并不能强制执行。robots.txt只是建议性的——服务器不会强制执行其中的规则，不配合的爬虫可以直接忽略它。然而，法院（尤其是美国依据CFAA提起的案件）曾将明确的Disallow指令作为网站所有者意图的证据，这会削弱爬虫方在计算机滥用案件中的论据。应将其视为合规抓取的法律底线。

是的，在大多数情况下如此。遵守robots.txt是在发生争议时证明善意访问的最低成本方式，而且被禁止的路径通常也有更强的反爬虫保护。部分商业爬取确实会出于合法的公开数据用途（搜索引擎排名分析、竞争情报）而忽略robots.txt——这是一个法律判断，建议您咨询法律顾问后再做决定。

始终位于根路径：`https://example.com/robots.txt`。每个主机只有一个 robots.txt 文件。它必须以 200 OK 响应和 `Content-Type: text/plain` 提供才有效。

您可以使用 `User-agent: *` + `Disallow: /` 请求所有遵守规则的爬虫停止抓取。行为不当的爬虫会忽略此设置。要真正屏蔽爬虫，您需要服务器端的强制措施（限速、Cloudflare 等反机器人工具、IP 白名单）。robots.txt 是一种礼貌性请求，而非安全机制。

对于抓取，是的——Googlebot 不会抓取被禁止的页面。对于索引，大多数情况下是的，但并非总是如此。如果一个被禁止的页面被其他大量页面链接，Google 可能仅凭链接信号将其纳入搜索结果，并附上该页面无法被抓取的提示。若要完全阻止索引，请使用 `noindex` meta 标签，而非 robots.txt。

robots.txt 在 URL 模式级别运行，每次抓取会话获取一次。meta robots 标签（`<meta name='robots' content='noindex'>`）是针对每个页面的，嵌入在 HTML 头部中。robots.txt 阻止抓取；meta robots 阻止已抓取页面被索引。它们用途不同，通常配合使用。