ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
Shifterが最大のライブ米国レジデンシャルIPプールを保有
当社のレジデンシャルプロキシベンチマークでShifterを再計測した結果、250,000リクエスト中212,212件がライブ米国IPとなり、計測した16ネットワークの中で最大のライブ米国プールとなりました。
Elena Petrova · 2026年10月7日 スクレイピングしたデータの所有者は誰か:権利、ライセンス、再販できるもの
ウェブデータを収集しても、その所有者になるわけではない。スクレイピングしたデータセットにはどのような権利が存在し、何をライセンス供与または再販でき、何が他者のものであり続けるのか。
Sofia Marin · 2026年10月7日 ジオグリッドランク追跡:ブロックごとにローカルランキングを測定する
ローカルビジネスには単一のGoogleランキングは存在しない:数ブロックごとに変化する。ジオグリッドで測定し、指標を読み取り、マップ上で対応する方法。
Daniel Okafor · 2026年10月7日 学術研究のためのウェブデータ収集：再現性、倫理審査、スクレイピングデータセットの引用方法 | Shifter
スクレイピングデータは今や研究において一般的になっているが、再現、審査、引用が難しいことが多い。査読や倫理委員会の審査、再利用に耐えるウェブデータを収集する方法とは。
James Meadow · 2026年10月6日 AIクローラーを拒否しているのは誰か? 上位1万サイトにおけるGPTBot、ClaudeBotなどの実態
上位1万ドメインのrobots.txtを調査した。5サイトに1つは少なくとも1つのAIクローラーをブロックしている一方、検索エンジンはほぼすべてのサイトで引き続き許可されている。
Chris Collins · 2026年10月6日 SERP API料金を解読する: 何がコストを左右し、どう安く抑えるか
SERP APIの請求額は、キーワード数×深度×地域×デバイス×頻度で決まる。2025年に深度のコストが10倍になった理由と、支払いを抑える方法。
Matt Brown · 2026年10月5日 調査報道のための公開記録収集：方法、倫理、検証
公開記録は調査を推進するが、それは慎重に収集され、提供されたままの状態で保存され、公開前に検証された場合に限られる。報道機関のための方法。
James Meadow · 2026年10月5日 古いユーザーエージェントのコスト:ブラウザバージョンのドリフトを測定する
スクレイパーはブラウザバージョンをハードコードしたまま放置することが多い。我々は最大6.5年前のChromeバージョンを名乗り、上位397サイトにリクエストを送った。拒否率は年数が経つごとに上昇した。
Chris Collins · 2026年10月5日 企業データ収集ポリシーの書き方:実用テンプレート
ウェブデータを収集するほとんどのチームには、そのための明文化されたルールがありません。適用範囲、承認、収集元、個人データ、削除対応をカバーする実用的なポリシーテンプレートです。
Matt Brown · 2026年10月4日