ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
LLM抽出 vs セレクター: モデルにページを読ませるべき時
大規模言語モデルに18の実際のニュースページからフィールドを抽出させ、各ページ自身の構造化データと照合してスコアを算出しました。精度、コスト、そして使うべき場面について。
Chris Collins · 2026年9月28日 大規模な変更検知：ノイズに埋もれずにWebページの差分を取る方法
広告、タイムスタンプ、トークンなど、Webページは読み込むたびに変化する。正規化、フィールド単位の差分、simhashを使って本当の変更をノイズと区別する方法を、テスト済みコードとともに解説する。
Chris Collins · 2026年9月27日 HTMLのパース作業を終わらせる:JSON-LDと埋め込みデータから構造化データを抽出する方法
ほとんどのページには、すでに機械可読なデータが存在する。壊れやすいセレクタの代わりにJSON-LDや埋め込みJSONを抽出する方法、そしてそれが不完全な場合の対処法について。
Matt Brown · 2026年9月26日 ターゲットヘルススコアの構築:サイトが自分に敵対し始めたことを知る
サイトがクローラーを一度でブロックすることは稀だ。まずチャレンジを課し、ソフトブロックを行い、速度を落とす。これらの信号をサイトごとに1つのスコアへ変換し、行動に移す方法。
Matt Brown · 2026年9月22日 コストを意識したクロールスケジューリング:変化のある場所に予算を使う
再クロール予算の大半は、何も変わっていないことを確認するために使われている。コスト当たりの期待値でスケジューリングする方法、そして最も速く変化するページが必ずしも最良の投資先ではない理由。
James Meadow · 2026年9月22日 分散クローラにおけるバックプレッシャーとフロー制御
クローラはパイプラインであり、最も速いステージが最も遅いステージを溢れさせる。有限キュー、プル型ワークとホスト単位の適応的制限がクローラを安定させる仕組み。
Chris Collins · 2026年9月22日 CI/CDでスクレイパーを実行する:プロキシ認証情報、シークレット、テスト実行
プッシュごとにプロキシ認証情報を漏洩させたり帯域を消費したりせずにCIでスクレイパーを実行する方法:シークレット管理、テストの階層分け、セッション、クォータチェック、ローテーション。
Chris Collins · 2026年9月21日 各サイトの企業口コミと評価を監視する方法
企業口コミは応募者の判断に影響する。口コミサイト全体の評価やテーマを監視し、競合他社をベンチマークし、各サイトのルールを遵守する方法。
James Meadow · 2026年9月19日 オープンウェブから大規模トレーニングデータセットを構築する方法
ページを収集すること自体は簡単な部分にすぎません。オープンウェブのクロールをトレーニングコーパスに変える方法として、フロンティア、オプトアウト、抽出、フィルタリング、重複排除、汚染除去について解説します。
Matt Brown · 2026年9月18日