robots.txtとは何か？

それだけでは判断できません。robots.txtは勧告的なものであり、サーバーが強制するものではなく、協力しないクローラーは無視できます。ただし、特に米国のCFAAに基づく裁判において、明示的なDisallowディレクティブがサイト所有者の意図を示す証拠として引用されており、コンピュータ不正利用事案でスクレイパー側の主張を弱めることがあります。コンプライアントなスクレイピングの法的な最低基準として扱ってください。

はい、ほとんどの場合。robots.txtを尊重することは、紛争が生じた場合に善意のアクセスを示す最も簡単な方法であり、禁止されているパスには通常より強力なアンチボット保護があります。一部の商業的スクレイピングでは、正当な公開データの利用（検索エンジンランキング分析、競合情報収集）のためにrobots.txtを無視することがあります。これは弁護士と相談の上で判断すべき法的な判断です。

常にルートに配置してください: `https://example.com/robots.txt`。robots.txtはホストごとに1つだけ存在します。有効であるためには、200 OKレスポンスと`Content-Type: text/plain`で提供される必要があります。

すべての協調クローラーを停止させるには `User-agent: *` + `Disallow: /` を使用できます。ただし、ルールを無視する悪意あるクローラーはこれに従いません。クローラーを実際にブロックするには、サーバーサイドでの対策（レート制限、Cloudflare などのアンチボットツール、IP 許可リスト）が必要です。robots.txt は丁重なお願いであり、セキュリティの仕組みではありません。

クロールについては、はい——Googlebotは Disallow されたページをフェッチしません。インデックスについては、おおむねそうですが、常にそうとは限りません。Disallow されたページが他の多くのページからリンクされている場合、Googleはリンクシグナルのみに基づいてそのページを検索結果に含め、クロールできない旨の通知を表示することがあります。インデックスを完全に防止するには、robots.txt ではなく `noindex` メタタグを使用してください。

robots.txt は URL パターンレベルで機能し、クロールセッションごとに 1 回取得されます。メタ robots タグ（`<meta name='robots' content='noindex'>`）はページごとのもので、HTML の head に埋め込まれます。robots.txt はクロールを防ぎ、メタ robots はクロールされたページのインデックス登録を防ぎます。両者は異なる目的を持ち、多くの場合併用されます。