スタートアップがプロキシに行き着くのには特定の理由がある。公開されてはいるものの、規模を持って収集するのが厄介なデータが必要であり、しかもデータチームを持てる余裕ができる前にそれが必要になるのだ。このガイドでは、初期段階でどのユースケースが投資に見合うか、それぞれ実際に何が必要か、そして最初の1か月にいくらかかるかを扱う。
この前提は重要だ。大企業であれば以下のユースケースすべてを並行して実行できる。しかし収益化前の5人チームにはそれはできないし、無理に試みるべきでもない。
小規模チームが投資に見合うと判断できる範囲
ユースケースを選ぶ前に、大企業には当てはまらない3つの制約がある。
- 予算は月に数千円単位であり、数十万円単位ではない。 入門レベルのレジデンシャルプランは10ドル前後から始まり、これはエンジニア1人日のコストに対する誤差の範囲だ。正しい視点は、そのデータが無料かどうかではなく、1日分の手作業を節約できるかどうかである。
- 本当のコストはエンジニアリング時間だ。 スクレイパーは書くのに1日かかり、対象がマークアップを変更するたびにまた手が戻ってくる。保守のための予算を確保するか、あるいはマネージドAPIを使って注意力ではなく金銭で支払うべきだ。
- まず1つのユースケースから始める。 競合価格調査を1つうまくこなすチームは、4つのことを中途半端にこなすチームに勝る。収益に最も近いものを選ぶこと。
どのユースケースから始めるべきか
| ユースケース | プロキシの種類 | 一般的な使用量 | セットアップの手間 | こんな場合はここから |
|---|---|---|---|---|
| 競合・市場価格調査 | ローテーティングレジデンシャル | 月2〜10 GB | 低〜中 | 比較対象となる競合がいる製品を販売している場合 |
| SEO・SERPモニタリング | ローテーティングレジデンシャル | 月1〜5 GB | 低 | オーガニック検索が実際の獲得チャネルである場合 |
| リード・市場調査 | ローテーティングレジデンシャル | 月1〜5 GB | 中 | B2Bを販売しており、現在の見込み客開拓が手作業である場合 |
| 複数地域でのブランド・広告チェック | ローテーティングレジデンシャル | 月2 GB未満 | 低 | 複数の国で有料キャンペーンを実施している場合 |
| 複数アカウント運用 | ISPプロキシ | 定額、IPごと | 低 | 複数の地域やクライアントにまたがってアカウントを管理している場合 |
競合・市場価格調査
製品を販売する者にとって、収益への最も直接的なつながりを持つのがこれだ。競合の価格、在庫状況、プロモーションをスケジュールに沿って収集すれば、当て推量ではなく意図を持った価格設定ができるようになる。
セットアップすべきもの: 5〜20の競合商品ページに対するスクレイパーを1日1〜2回実行し、スプレッドシートや小規模なデータベースに書き込む。小売サイトは地域によって価格を変え、一括収集への対策を講じているため、ローテーティングレジデンシャルプロキシを使う。
現実的な使用量: 競合ページ20件を1日2回であれば、月あたりおよそ1,200ページとなる。1ページあたり1〜2MBとすれば、3GB未満に収まる。
注意点: 訪問者の所在地によって価格が変わる場合がある。実際に販売している地域から収集しないと、数字を比較できない。
SEO・SERPモニタリング
検索結果はパーソナライズされ、地域ごとに異なるため、自分のマシンから自社の順位を確認してもほとんど有益な情報は得られない。プロキシを使えば、各市場の一般的な訪問者が見るのと同じ結果を確認できる。
セットアップすべきもの: 販売対象の地域ごとに、ターゲットキーワードの順位追跡を行う。都市レベルのターゲティングが可能なローテーティングレジデンシャルプロキシ、あるいは検索スクレイパーを自前で保守したくない場合はSERP APIを使う。これは自前で持つには特に脆弱な部類のものだ。
現実的な使用量: 小さい。1日数百件のキーワードチェックであれば、月1GBを大きく下回る。
リード・市場調査
公開ディレクトリ、業界リスト、公開プロフィールから企業データを収集し、それを営業プロセスで使えるものへとエンリッチする作業だ。
セットアップすべきもの: 少数の公開ソースから構造化されたリストへ収集する。ローテーティングレジデンシャルプロキシを使う。
注意点: これはユースケースの中で最も個人データを扱う可能性が高いものであり、そのページが公開されていたかどうかに関わらずデータ保護上の義務が発生する。規模を拡大する前に、自社の法的根拠を理解しておくこと。プロキシとスクレイピングの合法性に関するガイドで詳しく扱っている。
複数地域でのブランド・広告チェック
広告を出稿している場合、他国の顧客が見ているものを自分で確認することはできない。プロキシを使えば、対象市場から広告の掲載状況、クリエイティブ、ランディングページを確認でき、広告詐欺や誤配置を見つけることができる。
セットアップすべきもの: 広告を出している各地域からの定期的なチェック。使用量は非常に少なく、このリストの中でも最も低コストで運用できるものの一つだ。
複数アカウント運用
成長中の企業が1つのプラットフォーム上で複数アカウントを運用する正当な理由はよくある。地域市場ごとの個別アカウント、クライアントごとのアカウントを分けて管理する代理店、メインのビジネスプロフィールとは別に保持するブランドモニタリング用アカウントなどだ。
セットアップすべきもの: 制限の厳しいプラットフォーム上で、アカウントごとに1つの安定したアドレスを、アドレスが変わらないISPプロキシを使って用意する。対応関係を必ず記録しておくこと。アカウントを新しいアドレスに移すことが、最もよくある自業自得のトラブルだからだ。
はっきり言っておくべきこと: これは、自分が保有する権利のあるアカウントを、きれいに分離して運用するための話である。保有できるアカウント数に関するプラットフォームのルールを回避するための手法ではない。プラットフォームはIPアドレスよりもはるかに多くの手段でそれらのルールを執行しており、それを回避するために作られたアカウントは一夜にして消え去りうる資産だ。
コストはいくらか
プロキシの料金体系は2つのモデルのいずれかで動いている。
GBあたり課金は、ローテーティングレジデンシャルで使われる。支払いはアドレスに対してではなくトラフィックに対して行うため、コストは収集量に応じて決まる。入門プランはGBあたり5〜6ドル前後で、使用量が増えるにつれてGBあたり1ドルに近づいていく。1GBはおおよそ500〜2,000件の一般的なHTMLページに相当するため、テキスト収集であれば見た目以上に長く使える。
IPあたり月額課金は、ISPプロキシで使われる。トラフィック量に関わらずアドレスごとに定額を支払う仕組みで、少数のアドレスが継続して稼働するアカウント作業に向いている。
最初の1か月を見積もる
- ページ数を数える。 ソース数 × ソースごとのページ数 × 1日あたりのチェック回数 × 30。
- ページの重さを掛け合わせる。 通常のページには1〜2MBを使う。対象がJavaScriptレンダリングを必要とする場合は、スクリプトやスタイル、画像も取得することになるため、かなり多くなる。
- リトライ分として30%を加える。 一部のリクエストは失敗し、再試行される。それを見込んでおくこと。
- 入門ティアと比較する。 初期段階のユースケースのほとんどは、GB単位でいえば一桁の低い範囲に収まり、それが最小プランに相当する。
見積もりで最もよくある間違いは、ブロックされたリクエストもなおも帯域を消費するという事実を忘れることだ。失敗率の高い安価なプロバイダーは、成功したページ1件あたりのコストが、より良いプロバイダーよりも高くつく場合がある。
現在の料金は料金ページに、ターゲティングとセッションのオプションについてはレジデンシャルプロキシのページに掲載されている。
成長に伴い要件はどう変わるか
ローンチ期: 1つのユースケース、入門プラン、スプレッドシートへの出力。目標は、そのデータが意思決定を変えることを証明することだ。
成長期: 2〜3のユースケース、実データベースへのスケジュール収集、使用量は数十GB規模。ここでGBあたりの料金が意味を持ち始め、マネージドAPIをエンジニアリング時間と比較検討する価値が出てくる。
スケール期: 収集作業がインフラそのものになる。認証を要する作業向けの専用アドレス、失敗率のモニタリング、そしてそれを所有する担当者。コストの議論はプラン価格から、スクレイパーを維持する総コストへと移っていく。
次のティアに上げるべきサインは、帯域上限に達することではない。誰かが週に何時間もかけて収集を動かし続けていることに気づくことだ。
結論
プロキシは十分に安価であり、スタートアップにとって本当の問いはプラン価格ではほとんどない。問うべきは、そのデータが意思決定を変えるかどうか、そしてそれを収集し続けるためのエンジニアリングの注意力があるかどうかだ。
収益に最も近いユースケースから始め、入門レジデンシャルプランで運用し、実際に行動につながる成果が出てから拡大すること。
種類を選ぶ際はプロキシの種類を、収集の詳細についてはウェブスクレイピング用プロキシを参照してほしい。