ガイド、チュートリアル & インサイト
Shifterチームが提供するレジデンシャルプロキシ、ウェブスクレイピング、データ収集戦略、業界のベストプラクティスについて学ぶ。
レジデンシャルプロキシの無料トライアル: 購入前にテストすべきこと
トライアルとは、あるひとつの問いに答えるための限られた帯域幅である。これは自分のターゲットで機能するか、というものだ。無駄にしないために、何をどの順番でテストすべきかを紹介する。
プロジェクトに最適なレジデンシャルプロキシプランの選び方
プロキシプランを選ぶことは、3つの決定です。どの製品タイプか、どれだけの帯域幅か、そして実際に必要な機能はどれかです。それぞれを正しく選ぶ方法を説明します。
レジデンシャルプロキシとレジデンシャルVPNの違いとは?
どちらも家庭用IPを経由してトラフィックをルーティングしますが、それぞれ異なる用途のために作られています。ここでは分かりやすくその違いを説明し、あなたのプロジェクトにどちらが必要かを解説します。
本物 vs 偽物のレジデンシャルプロキシ:データセンターIPをレジデンシャルとして販売する業者の見分け方
一部のプロバイダはデータセンターIPをレジデンシャルとして販売しています。購入前に見分ける方法を、数分でできるチェック方法とともに紹介します。
リトライとバックオフ:スクレイパーはいかにして小さな失敗をBANに変えるか
スクレイパーのBANのほとんどは自業自得だ。単純なリトライループは、サイトが速度を落とすよう求めたまさにそのタイミングで、1件のスロットリング応答に対してトラフィックのバーストで応じてしまう。
国を横断したApp StoreとGoogle Playのデータスクレイピング
アプリには1つのランキング、1つの価格、1つのレビュー群があるわけではありません。各ストアフロントごとに異なるデータが存在し、その内部からしか読み取ることができません。
プロキシのIPは実際どれだけ必要なのか
プロキシを買う前に最もよく聞かれる質問は、同時に間違った質問でもあります。重要なのはIPをいくつ持っているかではなく、リクエストがどう分散されているかです。
スクレイピングにヘッドレスブラウザが本当に必要になるのはどんな時か
ヘッドレスブラウザはページを取得する方法の中で最もコストがかかります。ほとんどのサイトではその必要はありません。ここでは、通常のHTTPとフルブラウザのどちらを使うべきか判断する方法を説明します。
大規模にキーワードランキングを正確に測定する方法
キーワードには唯一絶対の順位というものは存在しません。順位は場所、ログイン状態、デバイスによって変動します。これらの変数を固定し、大規模に正確なランキングを追跡する方法を紹介します。