ガイド、チュートリアル＆ インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
AIクローラーを拒否しているのは誰か? 上位1万サイトにおけるGPTBot、ClaudeBotなどの実態
上位1万ドメインのrobots.txtを調査した。5サイトに1つは少なくとも1つのAIクローラーをブロックしている一方、検索エンジンはほぼすべてのサイトで引き続き許可されている。
Chris Collins · 2026年10月6日 古いユーザーエージェントのコスト:ブラウザバージョンのドリフトを測定する
スクレイパーはブラウザバージョンをハードコードしたまま放置することが多い。我々は最大6.5年前のChromeバージョンを名乗り、上位397サイトにリクエストを送った。拒否率は年数が経つごとに上昇した。
Chris Collins · 2026年10月5日 あなたのターゲットはブロック可能か?アンチボットスタック検索
スクレイパーを構築する前に、ターゲットが何に守られているかを確認しましょう。上位1,000ドメインを調査し、使用されているアンチボットベンダーと、素のクライアントでの結果を確認しました。
Chris Collins · 2026年10月3日 多腕バンディット問題としてのプロキシ選択
次のリクエストはどのプロキシ設定を使うべきか。これをバンディット問題として扱う。シミュレーションでは、適応的選択は完全な事後最適解の2%以内に収まった。
James Meadow · 2026年10月2日 べき等なスクレイパーの設計:重複なしで再開する
スクレイパーはクラッシュする。クロール中に10回落としてみた結果、素朴な実装は最大4.3倍の行数を保存し、べき等な実装は正確に500件だった。後者を作る方法。
Chris Collins · 2026年10月2日 スクレイピングデータの文字エンコーディング: 文字コードの検出と文字化けの修正
6カ国の上位ホームページ193件を取得した。一般的なPythonのデフォルト設定により、そのうち37件のテキストが文字化けした。ブラウザと同じ方法でスクレイピングしたページをデコードする方法。
Chris Collins · 2026年10月1日 生のレスポンスを残す: スクレイピングしたページをWARCでリプレイ用にアーカイブする
パーサーは改善され、エクストラクターは壊れるが、保存していなかったページは再度パースできない。WARCで生のレスポンスを保存する方法を、検証済みのコードと実際のサイズとともに解説する。
Matt Brown · 2026年10月1日 ページの裏にあるAPIを見つける: HTMLではなくJSONエンドポイントから収集する
多くのページはデータをJSONとして読み込みます。それを運ぶエンドポイントの見つけ方、それがページのセッションに紐づいていることが多い理由、そして責任を持って収集する方法について。
Chris Collins · 2026年9月30日 発見ソースとしてのサイトマップ:サイト全体をクロールせずにすべてのURLを見つける方法
XMLサイトマップはサイトのURL一覧を示し、変更日時が含まれることもあります。それを正しく読み取る方法と、lastmodを確認せずに信用してはいけない理由。
James Meadow · 2026年9月29日