スクレイピングパイプラインが派手に壊れることはほとんどない。cronは動き続け、プロセスは終了コード0で終わり、ログには200 OKが並び、3チーム離れた誰かが1週間前からレポートの数字がおかしいと気づくまでは、すべて健全に見える。その時点で、すでに数日分のデータが失われており、ページが変わってしまっているためほとんど再収集できない。
これは大規模な収集運用におけるオブザーバビリティの領域だ。Kubernetesがオーケストレーションを提供し、レスポンスごとの検証が個々の不良ページを捕捉するのに対し、モニタリングはフリート全体を時間を通じて監視し、ターゲットが自分に対して敵対的になったことを、汚染がデータウェアハウスに到達する前に知らせるレイヤーだ。ここでは重要な指標、そのベースライン化の方法、そしてノイズに埋もれずにアラートを出す方法を紹介する。
ログはモニタリングではない
まず認めるべきなのは、ログや終了コードはスクレイピングが正しく機能しているかについてほとんど何も教えてくれないということだ。終了コード0で終わり200をログに残したプロセスは、リクエストを送ってレスポンスを受け取ったことを示しているだけで、正しいレスポンスを受け取ったことは示していない。ブロックされたコンテンツや偽コンテンツの検出で述べたように、ブロックページ、中身のないシェル、そして本物のデータはすべて200として返ってくる。モニタリングとは指標のことだ。リクエストごとに出力される数値を、時間をかけて集計し、次元ごとに分解し、ベースラインと比較する。これはロギングとは異なる分野であり、静かな失敗を捕捉するのはこちらの分野だ。
重要な指標
以下をリクエストごとに、ターゲットホストと出口の地域(exit geo)でタグ付けして出力し、集計する。機械学習は一切必要なく、カウンターとヒストグラムだけでよい。
**成功率。**見出しとなる指標であり、皆が定義を誤りやすい指標でもある。成功とはHTTP 200のことではなく、検証を通過したことを意味する。つまり、本物のページなら必ず持っているフィールドや要素がレスポンスに含まれていたかどうかだ。ターゲットホストごとに、コンテンツの検証を通過したリクエストの割合を追跡する。他のホストが安定している中で1つのホストだけ低下した場合、それはそのホストがあなたに対する挙動を変えたということであり、ダッシュボード上で最も重要な単一の数値だ。
**ブロック率。**検出レイヤーがソフトブロックまたはチャレンジとしてフラグを立てたレスポンスの割合。これはターゲットがより攻撃的になったか、あるいはプールの評判が落ちたことの早期警告だ。ブロック率がじわじわ上昇するのはハードバンの前兆なので、値そのものだけでなくその傾き(slope)を監視し、IPの評判や避けようとしているブロックと関連付けること。
**レイテンシのパーセンタイル。**p50、p95、p99を追跡し、平均は絶対に使わないこと。平均は実際の問題が潜むテールを覆い隠してしまう。p95の上昇は、ターゲットがスロットリングしているか、プールが劣化しているか、経路が混雑していることを意味する。これはリクエストタイムアウトやレイテンシ調整の裏にある同じ信号のフリートレベルの見方だ。
**フィールド充足率。**抽出する各フィールドについて、実際にデータが入っていたレコードの割合。これはデータ品質のカナリアだ。昨日98パーセント充填されていたフィールドが今日20パーセントになったのは、その値が珍しくなったのではなく、中身のないページや部分的なページを受け取るようになったということだ。フィールド充足率は、成功率では見逃してしまう劣化を捕捉する。
**スループット対バックログ。**分あたりのリクエスト数とレコード数を、作業キューの深さと比較して監視する。スループットが上昇しバックログが縮小しているのは健全な状態だ。スループットが一定でバックログが増え続けているのは、処理が追いついておらずスケールアウトが必要だという信号であり、キューの深さに基づくオートスケーリングに供給される信号だ。
**新鮮さ(freshness)。**各ソースについて、最新のレコードがどれだけ古いか。新鮮さが更新されなくなったソースは、他のすべての指標が問題なく見えていても、静かに生成を停止したということだ。これはエラーを出さずに死んだフィードを捕捉できる唯一の指標だ。
**レコードあたりコスト。**帯域幅とコストを、使用可能なレコード数で割ったもの。効率性の指標であることを超えて、これは異常検出器でもある。レコードあたりバイト数の急上昇は、しばしばブロックページや肥大化したゴミをダウンロードしていることを意味し、データではないため、健全性の問題がまずコストの急増として現れる。これは帯域幅の料金を適正に保つのにも役立つ。
**リトライ率とエラー分類。**成功したレコードあたりの試行回数を、失敗タイプ別に分解する。タイムアウト、429、コネクションリセット、DNS、検出されたブロックなど。エラーの形が診断そのものだ。429の急増はターゲットを押しすぎていることを意味し、コネクションリセットの急増はネットワークまたはプロキシ層を指し、検出されたブロックの急増は評判を指す。集計されたエラー数一つだけでは何かがおかしいことしか分からないが、分類はその内容を教えてくれる。
ターゲットごとにベースラインを取り、偏差でアラートする
モニタリングを無意味にしてしまう間違いは、絶対的な閾値でアラートを出すことだ。3パーセントのブロック率は、あるサイトにとっては全く正常でも、別のサイトにとっては大火事だ。p95が2秒というのは、重いページにとっては問題ないが、軽いAPIにとってはひどい状態だ。絶対的な閾値は、本物の問題を見逃すか、絶えず誤報を出すかのどちらかであり、アラート疲れは結局、本物の1件も無視されるようになるということだ。
すべての指標をターゲットホストごとにベースライン化し、そのベースラインからの偏差でアラートを出す。成功率の持続的な低下、通常のバンドよりも速く上昇するブロック率、先週の2倍になったp95などだ。変化率とターゲットごとの偏差は、重要なものを捕捉しつつ、あるサイトが単に別のサイトと違うだけの場合は静かにしている。単発の悪い1分ではなく持続的な偏差でアラートを出し、人を呼び出す(page)必要があるものだけに限定する。それ以外はダッシュボードやダイジェストで十分だ。
# Emit per response; aggregate into a time series, dimensioned by host + geo.def record(metrics, host, geo, resp, validation): tags = {"host": host, "geo": geo} metrics.incr("requests", tags) metrics.incr("success" if validation.ok else "failure", tags) if validation.blocked: metrics.incr("blocked", tags) # block rate = blocked / requests metrics.observe("latency_ms", resp.elapsed_ms, tags) # histogram -> p50/p95/p99 metrics.observe("bytes", resp.size, tags) # -> cost/bytes per record for field, present in validation.fields.items(): metrics.incr(f"field.{field}." + ("filled" if present else "empty"), tags)カナリアとプロキシの次元
以上すべてを鋭くする要素が2つある。まず、カナリアを運用すること。正しい内容がすでに分かっているページを、スケジュールに従って地域ごとに取得し、それが依然として一致していることを確認する。カナリアは、集計指標の緩やかな低下が目に見えるほど明らかになるのを待たずに、ターゲットが変化した瞬間に健全から破損に切り替わる。これを地域ごとに行うことで、あるサイトが1つの国の出口IPだけをブロックし、別の国には手を出していないケースも捕捉できる。
次に、すべての指標をターゲットだけでなく、出口の地域とプールでも次元分けすること。問題はしばしば局所的だ。ある国のIPだけがチャレンジを受け、残りはすんなり通る、あるいはプールの一部分だけが劣化する、といったことが起こる。地域とプールでの分解がなければ、それは実際には鋭く対処可能な信号であるにもかかわらず、グローバル平均の中の軽微で分かりにくい低下として現れてしまう。プールの品質はブロック率の先行指標であるため、プールごとの成功率とブロック率を監視することで、レジデンシャルプールの劣化が実行全体を引き下げる前に知ることができ、ユーザーが気づく前に負荷を移すかフェイルオーバーする選択肢が得られる。
結論
モニタリングされていないスクレイピングパイプラインは、静かに、そして高くつく形で失敗するパイプラインだ。成功をHTTP 200ではなく検証通過として計測し、ブロック率、レイテンシのパーセンタイル、フィールド充足率、スループット対バックログ、新鮮さ、レコードあたりコスト、そして適切なエラー分類を追跡すること。それらすべてをターゲットホストと出口の地域で分解する。各指標をターゲットごとにベースライン化し、絶対的な数値ではなくそのベースラインからの偏差でアラートを出す。そうすることで、誤報に埋もれることなく本物の破損を捕捉できる。即時の早期警告のためにカナリアを追加する。これを行えば、静かな失敗はもはや静かではなくなる。数週間後の下流のレポートではなく、パイプライン内で、数分のうちに知ることができる。
ブロック率とレイテンシはどちらも、出口として使うIPの品質にたどり着くため、クリーンなレジデンシャルプールこそが、そもそもそれらの指標を健全に保つものであり、GB単位の料金は、あなたが今まさに監視しているレコードあたりコストを実際に最適化できるものにしてくれる。