ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
HTMLのパース作業を終わらせる:JSON-LDと埋め込みデータから構造化データを抽出する方法
ほとんどのページには、すでに機械可読なデータが存在する。壊れやすいセレクタの代わりにJSON-LDや埋め込みJSONを抽出する方法、そしてそれが不完全な場合の対処法について。
Matt Brown · 2026年9月26日 robots.txt、AIオプトアウト、予約シグナル:2026年にウェブデータ収集者が尊重すべきもの
robots.txtはEUで法的な重みを持つようになり、新しいAIシグナルが広がりつつある。それぞれが何を意味し、AIクローラーが何を尊重し、データチームがどう対応すべきかを解説する。
James Meadow · 2026年9月26日 ブランドがオンラインの模倣品リスティングから法廷対応可能な証拠を構築する方法
模倣品リスティングを見つけるのは簡単だ。しかし後でそれを証明するのは容易ではない。法廷で通用するリスティング証拠を取得し、ハッシュ化し、タイムスタンプを付与し、保全する方法。
Chris Collins · 2026年9月25日 ESGに関する主張を公開されたウェブ証拠で検証する
グリーン・クレームに関するEUの新規則は2026年9月27日から適用される。持続可能性に関する主張を公開証拠と照合して確認し、変化を追跡するための実践的な方法。
Matt Brown · 2026年9月25日 サプライヤーの公開情報を監視する:実践的な収集方法
サプライヤーリスクは、通常、監査に届く前に公開情報として現れます。制裁リスト、登記情報、ウェブサイト、地元ニュースを監視するための段階的な方法。
James Meadow · 2026年9月25日 航空会社やホテルは出発国によって異なる料金を提示するのか?実際に確認してみた
6カ国のレジデンシャルIPを使って、同じRyanairの運賃とBooking.comのホテル料金を読み込んでみた。何が変わり、何が変わらず、そして何にアクセスできなかったのか。
Chris Collins · 2026年9月24日 平日、週末、祝日:ブロック率はカレンダーとともにどう動くか
スクレイパーのブロック率を曜日別に公開している例はない。ボット、祝日、ピークイベントのデータが示す変動の理由と、自分自身のカレンダーで測定する方法。
Matt Brown · 2026年9月24日 サブネットの伝染：1つのブロックされたIPが隣接IPを汚染する仕組み
ブロックリストやレピュテーションシステムは、しばしばIPをその隣接IPによって判断する。レンジ単位のブロッキングとその被害、そしてそれを見抜く方法について、研究が示す内容とは。
James Meadow · 2026年9月23日 サイレント失敗率:成功したリクエストのうち、誤ったコンテンツを返す割合とは
HTTP 200は、目的のページを取得できたことを意味しません。ブロックページ、ソフト404、そして成功の裏に隠れたチャレンジについて調査結果が示す内容と、自分自身で測定する方法を解説します。
Chris Collins · 2026年9月23日