「最もスクレイピングされているWebサイト」のリストは、どれも誰かの非公開ログに基づくため検証が困難です。そこで、誰でも再現できるリストを作りました。2026年10月30日、Apify Storeで人気の高い既製スクレイパーの公開統計を取得しました。対象は8,186個のスクレイパーで、直近30日間に合計2億3,980万回実行されています。各スクレイパーを対象のWebサイトに割り当て、サイトをランキングしました。これらのサイトからデータを収集する場合は、記事末尾のレジデンシャルプロキシの設定メモで、ターゲットの種類ごとに一般的に有効な構成を確認できます。
これらの数字の背景にある大きなトレンドは、2026年のWebスクレイピングの現状で解説しています。本記事はそのデータ編です。
主なポイント
- InstagramとLinkedInで単一サイト向け需要の43.5%を占めます。 Instagramが25.3%で首位、LinkedInが18.2%で続きます。
- 4つのサイトで60.0%： Instagram、LinkedIn、TikTok、Google Maps。
- ソーシャルメディアと動画が需要の56.0%、実行回数の60.2%を占めます。
- Meta系サービスは合計35.9%、Google系サービスは19.6%です。
- AI回答エンジンはほとんど目立ちません： 需要の0.1%。
- 大規模ターゲットの多くは安定して動いています。 上位8サイトのうち7サイトの実行成功率は98.5%以上です。成功率が最も低いのは、Naver、Taobao、ImmobilienScout24、Google Flightsなどの地域サイトと旅行系ターゲットです。
測定方法
Apify Store APIは、公開スクレイパー（「Actor」）ごとに、直近30日間のユーザー数と、同期間の公開実行の結果（成功、失敗、タイムアウト、中断）を公開しています。
- 収集。 2026年10月30日にStore自身の人気ランキングの上位10,000枠を読み込み、掲載104,320件のうち重複のない8,186個のスクレイパーを得ました。
- ターゲットへの割り当て。 名前とタイトルから各スクレイパーを1つのWebサイトに割り当てました。例えば「Instagram Profile Scraper」はInstagramです。複数のプラットフォームを挙げるスクレイパーは、ルールが最初に一致したものに割り当てたため、大手SNS間のシェアは概算です。
- ランキング。 サイトごとに全スクレイパーの30日間アクティブユーザーを合計してランキングし、実行回数と実行結果を併記しました。
次の4点に注意してください。
- これはセルフサービスの需要であり、総トラフィックではありません。 自社でスクレイパーを運用するチームは含まれません。
- ユーザーはスクレイパーごとに数えています。 3つのInstagramスクレイパーを使う人は3回数えられるため、専門スクレイパーが多いサイトは大きく見えます。
- 需要の13.8%は単一サイトに結び付けられません。 汎用クローラー、RAGブラウザ、連絡先検索ツール、リードデータベースはランキングから除外しています。
- 実行の失敗はブロックの証明ではありません。 入力ミス、サイトの変更、ユーザーが設定したタイムアウトでも実行は失敗します。
2026年に最もスクレイピングされたWebサイト15
シェアは、単一サイトを対象とする全スクレイパーの30日間アクティブユーザーに占める各サイトの割合です。
| 順位 | Webサイト | 単一サイト向け需要のシェア | 30日間の実行回数 | ユーザーあたり実行回数 |
|---|---|---|---|---|
| 1 | 25.3% | 5,100万 | 239 | |
| 2 | 18.2% | 3,720万 | 244 | |
| 3 | TikTok | 8.7% | 3,390万 | 464 |
| 4 | Google Maps | 7.8% | 1,740万 | 266 |
| 5 | 6.5% | 1,810万 | 330 | |
| 6 | YouTube | 6.5% | 840万 | 153 |
| 7 | Google Search | 3.6% | 1,360万 | 447 |
| 8 | X (Twitter) | 3.5% | 1,750万 | 594 |
| 9 | Facebook Ads Library | 3.1% | 480万 | 186 |
| 10 | 2.8% | 190万 | 84 | |
| 11 | Amazon | 1.6% | 230万 | 169 |
| 12 | Indeed | 1.5% | 290万 | 233 |
| 13 | Douyin | 0.8% | 10万 | 15 |
| 14 | Threads | 0.7% | 74万 | 132 |
| 15 | Naukri | 0.6% | 10万 | 18 |
3つのパターンが見えてきます。
ソーシャルプラットフォームが圧倒的です。 Instagram、TikTok、Facebook、YouTubeのプロフィール、投稿、コメント、動画は、ソーシャルメディアのモニタリング、インフルエンサー調査、ブランド追跡の素材であり、こうした作業は毎日行われています。
Xはユーザーあたりの実行回数がトップ15の中で突出しています。 30日間でアクティブユーザーあたり594回、Instagramの239回を大きく上回ります。TikTok（464）とGoogle Search（447）が続きます。比率が高いことは、単発の取得ではなく、定期的に繰り返される収集を示しています。
4位のGoogle Mapsはリード獲得の話です。 152個のスクレイパーは、ビジネス情報、レビュー、連絡先の収集を目的に作られています。手法はローカルビジネスデータのスクレイピング方法で解説しています。
カテゴリー別のスクレイピング需要
ソーシャルメディアと動画が需要の半分以上を占め、上位3カテゴリーの合計は82.3%です。
| カテゴリー | 単一サイト向け需要のシェア | 実行回数のシェア | 主なターゲット |
|---|---|---|---|
| ソーシャルメディア・動画 | 56.0% | 60.2% | Instagram、TikTok、Facebook、YouTube、X |
| B2B・ビジネスデータ | 18.3% | 16.8% | LinkedIn、Crunchbase |
| 地図・ローカルビジネス | 8.0% | 8.6% | Google Maps、Yelp |
| 検索エンジン・SEOデータ | 5.2% | 6.5% | Google Search、Google Trends、Similarweb |
| EC・マーケットプレイス | 3.9% | 1.9% | Amazon、AliExpress・Alibaba、Taobao・Tmall |
| 広告インテリジェンス | 3.5% | 2.5% | Facebook Ads Library、Google Ads Transparency Center |
| 求人・人材 | 2.7% | 1.8% | Indeed、Naukri、Glassdoor |
| 旅行 | 0.9% | 0.8% | Airbnb、Tripadvisor、Booking.com |
| 不動産 | 0.6% | 0.6% | Zillow、Idealista |
| レビュー | 0.5% | 0.1% | Trustpilot、G2 |
| アプリストア・開発者 | 0.3% | 0.1% | Google Play、Apple App Store |
| AI回答エンジン | 0.1% | 0.0% | ChatGPT、Perplexity、Gemini |
求人データは表の数字より大きいと考えられます。LinkedInの求人スクレイパーはLinkedIn、つまりB2Bの行に含まれているためです。
ECは小さく見えますが、これは誤解を招きます。大規模な価格・カタログ監視は社内で構築されるか、データフィードとして購入されることが多く、マーケットプレイスの需要としてはほとんど現れません。それでもAmazonは単独で11位に入っています。
スクレイピング成功率が最も低いWebサイト
人気があることと簡単であることは別です。次の表は、30日間で5万回以上実行されたターゲットのうち、実行成功率が最も低いものです。
| Webサイト | 成功 | 失敗・タイムアウト | 中断 | 30日間の実行回数 |
|---|---|---|---|---|
| Naver | 79.0% | 0.3% | 20.7% | 50,991 |
| Taobao・Tmall | 81.4% | 18.6% | 0.0% | 140,407 |
| Google Trends | 89.0% | 5.7% | 5.2% | 119,170 |
| ImmobilienScout24 | 89.9% | 10.1% | 0.0% | 132,649 |
| Google Flights・Hotels | 92.1% | 7.7% | 0.2% | 149,021 |
| Google Play | 94.7% | 1.6% | 3.8% | 69,753 |
| Trustpilot | 95.9% | 2.5% | 1.5% | 126,576 |
| 96.2% | 3.0% | 0.8% | 1,943,609 | |
| YouTube | 97.0% | 2.8% | 0.2% | 8,432,062 |
| Apple App Store | 97.1% | 0.5% | 2.4% | 54,734 |
このリストには明確な傾向があります。
- 地域プラットフォームが最も失敗しやすい。 Taobao・Tmall、ImmobilienScout24、Naverはいずれも自国市場向けのサービスです。その市場の外からのアクセスはよくある問題の原因ですが、データは個々の失敗の原因を記録していません。
- Naverは別の意味で例外です。 不成功の実行のほぼすべてが失敗ではなく中断、つまり完了前に停止されたものでした。理由はデータからは分かりません。
- 旅行の価格は難しい。 Google Flights・Hotelsでは7.7%の実行が失敗またはタイムアウトしました。航空券とホテル料金のスクレイピングのガイドで、場所とセッションが重要な理由を解説しています。
- 規模の大きさは難しさを意味しません。 YouTubeとRedditは数百万回の実行でこのリストに入っていますが、大手ソーシャルターゲットの多くは98.5%を超えています。
実行の成功が正しいデータを意味するとは限りません。サイトは通常のステータスコードで空のページや古いページを返すことがあるため、結果だけでなく内容も確認してください。
その他の発見
AI回答エンジンはほとんど目立ちません。 ChatGPT、Perplexity、Gemini向けのスクレイパーはアクティブユーザー1,042人、実行回数82,543回で、需要の約0.1%でした。これはAI検索トラフィック全体よりも、このマーケットプレイスについて多くを語っています。
MetaとGoogleが優勢です。 Instagram、Facebook、Facebook Ads Library、Threads、Facebook Marketplaceの合計は単一サイト向け需要の35.9%です。Google系サービス（Maps、Search、YouTube、Trends、Ads Transparency Center、Flights・Hotels、News、Play、Jobs、Shopping、Scholar）は19.6%です。
中国のプラットフォームも積み上がります。 Douyin、Taobao・Tmall、小紅書（RedNote）、Bilibili、Weiboの合計は需要の1.8%で、Amazonの1.6%を上回ります。
ターゲットの種類別プロキシ設定
このデータセットには各実行で使われたプロキシが記録されていないため、以下は分析結果ではなく一般的なメモです。適切な構成は、サイトがどのように防御しているかで決まります。
| ターゲットの種類 | 例 | よくあるブロック要因 | 検討すべき構成 |
|---|---|---|---|
| ソーシャルプラットフォーム | Instagram、TikTok、X、Reddit | IPごとのレート制限、繰り返しリクエストへのログイン要求 | ローテーティング・レジデンシャルIP、IPあたり少ないリクエスト、公開ページのみ |
| ビジネス・求人データ | LinkedIn、Indeed、Naukri | 厳しいレート制限、ログインの要求 | ローテーティング・レジデンシャルIP、ゆっくりしたペース、ログイン不要の一覧 |
| 地図・ローカル | Google Maps、Yelp | 都市によって結果が変わる | 都市ターゲティング付きレジデンシャルIP |
| 地域ポータル | Naver、Taobao、ImmobilienScout24 | 海外からのトラフィックが疑われる | 対象国のレジデンシャルIP、複数ページの操作にはスティッキーセッション |
| 旅行・EC | Google Flights、Amazon | JavaScriptレンダリング、フィンガープリント、IPの評判 | レジデンシャルIPと実ブラウザ、検索ごとに1つのスティッキーセッション |
収集する内容についての注意
よくスクレイピングされているサイトだからといって、あらゆる収集が合法になるわけではありません。ログイン不要の公開ページとログイン後のコンテンツは別物であり、ソーシャルやビジネスネットワークのプロフィールには通常個人データが含まれるため、プライバシー関連の法律が関わります。これらのターゲットで何かを構築する前にWebスクレイピングは合法かを読み、個別のプロジェクトについては弁護士に相談してください。
まとめ
この30日間のスナップショットでは、Instagram、LinkedIn、TikTok、Google Mapsが単一サイト向けスクレイピング需要の60%を占め、ソーシャル・動画プラットフォームだけで半分を超えています。大規模ターゲットはおおむね安定して動いています。成功率が最も低いのは地域プラットフォームと旅行の価格で、場所とセッションの扱いが実行の成否を左右します。
データに関する注記： 数値は、Shifterが2026年10月30日に取得したApify Storeの公開統計に基づき、公開スクレイパー8,186個と、各スクレイパーの直近30日間の実行2億3,980万回を対象としています。これはこのデータセット内の活動を示すもので、インターネット上のWebスクレイピング全体ではありません。実行成功率はデータセット内の実行結果を示すもので、Webサイトのスクレイピングの難しさを決定的に示す指標ではありません。