ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
市場横断のアクセシビリティ監査：各国のユーザーが実際に目にするものをテストする
米国のホームページの監査結果は、ドイツや日本のページについてはほとんど何も語らない。私たちは4カ国の23のサイトを監査したところ、4分の1がその市場固有の問題を抱えていた。
James Meadow · 2026年10月4日 あなたのターゲットはブロック可能か?アンチボットスタック検索
スクレイパーを構築する前に、ターゲットが何に守られているかを確認しましょう。上位1,000ドメインを調査し、使用されているアンチボットベンダーと、素のクライアントでの結果を確認しました。
Chris Collins · 2026年10月3日 レート・パリティ監視:自社在庫のアンダーカットを見つける
自社の客室が他のチャネルでより安く表示されると、ホテルは直接予約を失います。誤検知を避けながら、チャネルや市場をまたいでレート・パリティを監視する方法。
Matt Brown · 2026年10月3日 多腕バンディット問題としてのプロキシ選択
次のリクエストはどのプロキシ設定を使うべきか。これをバンディット問題として扱う。シミュレーションでは、適応的選択は完全な事後最適解の2%以内に収まった。
James Meadow · 2026年10月2日 べき等なスクレイパーの設計:重複なしで再開する
スクレイパーはクラッシュする。クロール中に10回落としてみた結果、素朴な実装は最大4.3倍の行数を保存し、べき等な実装は正確に500件だった。後者を作る方法。
Chris Collins · 2026年10月2日 偽レビューとレビュー詐欺を大規模に検出する方法
偽レビューは米国、英国、EUで禁止されており、プラットフォームは数億件を削除している。多数の製品にわたってレビュー詐欺を検出する方法を、テスト済みのコードとともに解説する。
Matt Brown · 2026年10月2日 hreflangを使ってページのすべての言語・国別バージョンを見つける方法
hreflangはページのローカライズされたすべてのバージョンを一覧化します。主要サイトがこれをどう使っているか、何が壊れているか、そして一部のバージョンが特定の国内からしか開けない理由を調査しました。
James Meadow · 2026年10月1日 スクレイピングデータの文字エンコーディング: 文字コードの検出と文字化けの修正
6カ国の上位ホームページ193件を取得した。一般的なPythonのデフォルト設定により、そのうち37件のテキストが文字化けした。ブラウザと同じ方法でスクレイピングしたページをデコードする方法。
Chris Collins · 2026年10月1日 生のレスポンスを残す: スクレイピングしたページをWARCでリプレイ用にアーカイブする
パーサーは改善され、エクストラクターは壊れるが、保存していなかったページは再度パースできない。WARCで生のレスポンスを保存する方法を、検証済みのコードと実際のサイズとともに解説する。
Matt Brown · 2026年10月1日