ガイド、チュートリアル& インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
公益目的の価格モニタリング:精査に耐える証拠を収集する
消費者団体、ジャーナリスト、コンプライアンスチームが割引表示を検証するために価格をどのように監視し、小売業者が反論できない証拠をどのように収集するか。
スクレイピングプロジェクトを承認する前に法務チームが尋ねること
法務・コンプライアンスチームがウェブデータ収集を承認する前に尋ねる質問、それらが尋ねられる理由、そして良い回答がどのようなものかについて。
ローカルディレクトリ全体でのNAP一貫性の監査
複数のディレクトリに古い電話番号や住所が掲載されているビジネスは、顧客や検索エンジンを混乱させます。NAPデータを監査し、重要な点を修正する方法。
レジデンシャルプロキシが不要な場合
30の公開サイトに対し、データセンターIPとレジデンシャルの出口経由でアクセスした。半数以上はプロキシを全く必要としなかった。どちらの種類のサイトかを見分ける方法。
スクレイパーのテスト:フィクスチャ、リプレイ、回帰テストスイート
スクレイパーはサイトの変更によって壊れ、本番サイトにアクセスするテストも一緒に壊れます。記録したフィクスチャ、リプレイ、デイリーカナリアを使ってスクレイパーをテストする方法。
あなたのスクレイパーが遅いのは、おそらくプロキシのせいではない
レジデンシャルプロキシ経由で動作するスクレイパーを、プロキシに手を加えることなく7.5倍高速化しました。時間が本当にどこで失われているかを見つけ、修正する方法を紹介します。
ペイロード効率:スクレイピングしたページのうち、費用を払って取得した定型文はどれくらいの割合か
上位1,000サイトから278件のコンテンツページを測定した。欲しいテキストはHTMLの約1%にすぎず、ブラウザがダウンロードするデータ全体の中ではごくわずかな割合にとどまる。
Shifterの無料ウェブプロキシ、レジデンシャルIPで構築
Shifter Web Proxyは無料です。54か国の中から任意の国の実際のレジデンシャルIPを通じて、登録不要、広告なし、インストール不要で、どのウェブサイトでも開くことができます。
オンライン価格は実際どれほど速く変動するのか?ボラティリティ調査
小売サイトからマーケットプレイスのBuy Boxまで、オンライン価格がどれほどの頻度で変わるかについて公開研究が示す内容と、それが監視頻度に意味することについて