ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
ターゲットヘルススコアの構築:サイトが自分に敵対し始めたことを知る
サイトがクローラーを一度でブロックすることは稀だ。まずチャレンジを課し、ソフトブロックを行い、速度を落とす。これらの信号をサイトごとに1つのスコアへ変換し、行動に移す方法。
Matt Brown · 2026年9月22日 コストを意識したクロールスケジューリング:変化のある場所に予算を使う
再クロール予算の大半は、何も変わっていないことを確認するために使われている。コスト当たりの期待値でスケジューリングする方法、そして最も速く変化するページが必ずしも最良の投資先ではない理由。
James Meadow · 2026年9月22日 分散クローラにおけるバックプレッシャーとフロー制御
クローラはパイプラインであり、最も速いステージが最も遅いステージを溢れさせる。有限キュー、プル型ワークとホスト単位の適応的制限がクローラを安定させる仕組み。
Chris Collins · 2026年9月22日 CI/CDでスクレイパーを実行する:プロキシ認証情報、シークレット、テスト実行
プッシュごとにプロキシ認証情報を漏洩させたり帯域を消費したりせずにCIでスクレイパーを実行する方法:シークレット管理、テストの階層分け、セッション、クォータチェック、ローテーション。
Chris Collins · 2026年9月21日 SEOツールは実際の検索ボリュームを報告しているのか? 3つのベンダーとSERPの実態を比較
Keyword Planner、SemrushおよびAhrefsはそれぞれ検索ボリュームの推定方法が異なる。独自テストで判明したこと、そして数値よりもライブのSERPが重要な理由。
Matt Brown · 2026年9月21日 最もジオブロックされる国はどこか、そして誰によって
制裁対象国はジオブロックのあらゆる測定基準で上位を占めるが、それが全てではない。誰が誰をブロックしているのか、その調査結果が示す内容とは。
James Meadow · 2026年9月21日 市場別広告量:国ごとに見る、ページ内の広告が占める割合
国別のページバイト数に占める広告バイト数の割合を公表したデータはこれまで存在しなかった。ここでは、実際に得られるデータが示す内容と、Chromeによって本当の答えが得られるようになった理由を紹介する。
Matt Brown · 2026年9月20日 国別に見る同意ウォール:ウェブが最も読みにくい場所はどこか
同意バナー、拒否ウォール、pay-or-okay画面は均等に分布しているわけではない。31カ国のクロール調査から、ウェブへのアクセスが最も難しい場所が見えてくる。
Chris Collins · 2026年9月20日 各サイトの企業口コミと評価を監視する方法
企業口コミは応募者の判断に影響する。口コミサイト全体の評価やテーマを監視し、競合他社をベンチマークし、各サイトのルールを遵守する方法。
James Meadow · 2026年9月19日