가장 많이 스크래핑되는 웹사이트 목록은 모두 누군가의 비공개 로그에서 나오기 때문에 검증하기 어렵습니다. 그래서 누구나 다시 만들어 볼 수 있는 목록을 만들고자 했습니다. 2026년 10월 30일, Apify Store에서 가장 인기 있는 기성 스크래퍼들의 공개 통계를 가져왔습니다. 대상은 최근 30일 동안 합계 2억 3,980만 회 실행된 스크래퍼 8,186개입니다. 각 스크래퍼를 대상 웹사이트에 연결하고 사이트 순위를 매겼습니다. 이 중 어느 사이트에서든 데이터를 수집한다면, 글 끝의 레지덴셜 프록시 설정 메모에서 대상 유형별로 보통 잘 맞는 구성을 확인할 수 있습니다.
이 수치 뒤에 있는 큰 흐름은 2026년 웹 스크래핑 현황에서 다룹니다. 이 글은 그 데이터입니다.
핵심 요약
- Instagram과 LinkedIn이 단일 사이트 대상 수요의 43.5%를 차지합니다. Instagram이 25.3%로 1위, LinkedIn이 18.2%로 뒤를 잇습니다.
- 네 개 사이트가 60.0%: Instagram, LinkedIn, TikTok, Google Maps.
- 소셜 미디어와 동영상이 수요의 56.0%, 실행의 60.2%를 차지합니다.
- Meta 계열 서비스는 합계 35.9%, Google 계열 서비스는 19.6%입니다.
- AI 답변 엔진은 거의 눈에 띄지 않습니다: 수요의 0.1%.
- 대형 대상 대부분은 원활하게 실행됩니다. 상위 8개 사이트 중 7개의 실행 성공률이 98.5% 이상입니다. 가장 낮은 성공률은 Naver, Taobao, ImmobilienScout24, Google Flights 같은 지역 및 여행 대상에서 나왔습니다.
측정 방법
Apify Store API는 공개 스크래퍼(“Actor”)마다 최근 30일 사용자 수와, 같은 기간 공개 실행의 결과(성공, 실패, 시간 초과, 중단)를 공개합니다.
- 수집. 2026년 10월 30일 Store 자체 인기 순위의 상위 10,000개 자리를 읽었고, 등록된 104,320개 중 중복 없는 스크래퍼 8,186개를 얻었습니다.
- 대상 배정. 이름과 제목을 기준으로 각 스크래퍼를 하나의 웹사이트에 배정했습니다. 예를 들어 “Instagram Profile Scraper”는 Instagram입니다. 여러 플랫폼을 언급하는 스크래퍼는 규칙이 처음 일치한 플랫폼에 배정했으므로 대형 소셜 네트워크 간 점유율은 근사치입니다.
- 순위. 사이트별로 모든 스크래퍼의 30일 활성 사용자를 합산해 순위를 매기고, 실행 횟수와 실행 결과를 함께 적었습니다.
네 가지 유의점이 있습니다.
- 이것은 셀프서비스 수요이지 전체 트래픽이 아닙니다. 자체 스크래퍼를 운영하는 팀은 여기에 나타나지 않습니다.
- 사용자는 스크래퍼별로 셉니다. Instagram 스크래퍼 세 개를 쓰는 사람은 세 번 계산되므로, 전문 스크래퍼가 많은 사이트가 더 크게 보입니다.
- 수요의 13.8%는 단일 사이트에 연결되지 않습니다. 범용 크롤러, RAG 브라우저, 연락처 검색 도구, 리드 데이터베이스는 사이트 순위에서 제외했습니다.
- 실행 실패가 차단의 증거는 아닙니다. 잘못된 입력, 사이트 변경, 사용자가 정한 시간 제한으로도 실행은 실패합니다.
2026년 가장 많이 스크래핑된 웹사이트 15곳
점유율은 단일 사이트를 대상으로 하는 모든 스크래퍼의 30일 활성 사용자 중 각 사이트가 차지하는 비율입니다.
| 순위 | 웹사이트 | 단일 사이트 대상 수요 점유율 | 30일 실행 횟수 | 사용자당 실행 횟수 |
|---|---|---|---|---|
| 1 | 25.3% | 5,100만 | 239 | |
| 2 | 18.2% | 3,720만 | 244 | |
| 3 | TikTok | 8.7% | 3,390만 | 464 |
| 4 | Google Maps | 7.8% | 1,740만 | 266 |
| 5 | 6.5% | 1,810만 | 330 | |
| 6 | YouTube | 6.5% | 840만 | 153 |
| 7 | Google Search | 3.6% | 1,360만 | 447 |
| 8 | X (Twitter) | 3.5% | 1,750만 | 594 |
| 9 | Facebook Ads Library | 3.1% | 480만 | 186 |
| 10 | 2.8% | 190만 | 84 | |
| 11 | Amazon | 1.6% | 230만 | 169 |
| 12 | Indeed | 1.5% | 290만 | 233 |
| 13 | Douyin | 0.8% | 10만 | 15 |
| 14 | Threads | 0.7% | 74만 | 132 |
| 15 | Naukri | 0.6% | 10만 | 18 |
세 가지 패턴이 눈에 띕니다.
소셜 플랫폼이 압도적입니다. Instagram, TikTok, Facebook, YouTube의 프로필, 게시물, 댓글, 동영상은 소셜 미디어 모니터링, 인플루언서 조사, 브랜드 추적의 원재료이며, 이런 작업은 매일 돌아갑니다.
X는 상위 15곳 중 사용자당 실행 횟수가 단연 많습니다. 30일 동안 활성 사용자당 594회로, Instagram의 239회를 크게 앞섭니다. TikTok(464)과 Google Search(447)가 뒤를 잇습니다. 비율이 높다는 것은 일회성 수집이 아니라 예약된 반복 수집을 뜻합니다.
4위의 Google Maps는 리드 생성 이야기입니다. 152개의 스크래퍼는 업체 정보, 리뷰, 연락처를 수집하도록 만들어졌습니다. 방법은 로컬 비즈니스 데이터 스크래핑 방법에서 설명합니다.
카테고리별 스크래핑 수요
소셜 미디어와 동영상이 수요의 절반 이상을 차지하고, 상위 세 카테고리를 합치면 82.3%입니다.
| 카테고리 | 단일 사이트 대상 수요 점유율 | 실행 점유율 | 주요 대상 |
|---|---|---|---|
| 소셜 미디어 및 동영상 | 56.0% | 60.2% | Instagram, TikTok, Facebook, YouTube, X |
| B2B 및 전문 데이터 | 18.3% | 16.8% | LinkedIn, Crunchbase |
| 지도 및 로컬 비즈니스 | 8.0% | 8.6% | Google Maps, Yelp |
| 검색 엔진 및 SEO 데이터 | 5.2% | 6.5% | Google Search, Google Trends, Similarweb |
| 이커머스 및 마켓플레이스 | 3.9% | 1.9% | Amazon, AliExpress·Alibaba, Taobao·Tmall |
| 광고 인텔리전스 | 3.5% | 2.5% | Facebook Ads Library, Google Ads Transparency Center |
| 채용 및 인재 | 2.7% | 1.8% | Indeed, Naukri, Glassdoor |
| 여행 | 0.9% | 0.8% | Airbnb, Tripadvisor, Booking.com |
| 부동산 | 0.6% | 0.6% | Zillow, Idealista |
| 리뷰 | 0.5% | 0.1% | Trustpilot, G2 |
| 앱 스토어 및 개발자 | 0.3% | 0.1% | Google Play, Apple App Store |
| AI 답변 엔진 | 0.1% | 0.0% | ChatGPT, Perplexity, Gemini |
채용 데이터는 표의 수치보다 큽니다. LinkedIn 채용 스크래퍼는 B2B 행의 LinkedIn에 포함되어 있기 때문입니다.
이커머스가 작아 보이지만 이는 오해의 소지가 있습니다. 대규모 가격·카탈로그 모니터링은 대개 사내에서 구축하거나 피드로 구매하기 때문에 마켓플레이스 수요로는 잘 나타나지 않습니다. 그래도 Amazon은 단독으로 11위입니다.
스크래핑 성공률이 가장 낮은 웹사이트
인기가 많다고 쉬운 것은 아닙니다. 다음 표는 30일 동안 5만 회 이상 실행된 대상 중 실행 성공률이 가장 낮은 곳입니다.
| 웹사이트 | 성공 | 실패 또는 시간 초과 | 중단 | 30일 실행 횟수 |
|---|---|---|---|---|
| Naver | 79.0% | 0.3% | 20.7% | 50,991 |
| Taobao·Tmall | 81.4% | 18.6% | 0.0% | 140,407 |
| Google Trends | 89.0% | 5.7% | 5.2% | 119,170 |
| ImmobilienScout24 | 89.9% | 10.1% | 0.0% | 132,649 |
| Google Flights·Hotels | 92.1% | 7.7% | 0.2% | 149,021 |
| Google Play | 94.7% | 1.6% | 3.8% | 69,753 |
| Trustpilot | 95.9% | 2.5% | 1.5% | 126,576 |
| 96.2% | 3.0% | 0.8% | 1,943,609 | |
| YouTube | 97.0% | 2.8% | 0.2% | 8,432,062 |
| Apple App Store | 97.1% | 0.5% | 2.4% | 54,734 |
이 목록에는 뚜렷한 형태가 있습니다.
- 지역 플랫폼이 가장 많이 실패합니다. Taobao·Tmall, ImmobilienScout24, Naver는 모두 자국 시장을 위한 서비스입니다. 해당 시장 밖에서의 접속은 흔한 문제의 원인이지만, 데이터는 개별 실패의 원인을 기록하지 않습니다.
- Naver는 다른 의미의 예외입니다. 성공하지 못한 실행의 거의 전부가 실패가 아니라 중단, 즉 끝나기 전에 멈춘 것이었습니다. 이유는 데이터로 알 수 없습니다.
- 여행 가격은 까다롭습니다. Google Flights·Hotels에서는 실행의 7.7%가 실패하거나 시간 초과되었습니다. 항공권 및 호텔 가격 스크래핑 가이드에서 위치와 세션이 왜 중요한지 설명합니다.
- 규모가 곧 어려움은 아닙니다. YouTube와 Reddit은 수백만 회 실행으로 이 목록에 있지만, 대부분의 대형 소셜 대상은 98.5% 이상을 유지합니다.
실행 성공이 항상 올바른 데이터를 뜻하지는 않습니다. 사이트는 정상 상태 코드와 함께 빈 페이지나 오래된 페이지를 돌려줄 수 있으므로, 결과만이 아니라 내용도 확인하세요.
그 밖의 발견
AI 답변 엔진은 거의 눈에 띄지 않습니다. ChatGPT, Perplexity, Gemini용 스크래퍼는 활성 사용자 1,042명, 실행 82,543회로 수요의 약 0.1%였습니다. 이는 AI 검색 트래픽 전체보다 이 마켓플레이스에 대해 더 많은 것을 말해 줍니다.
Meta와 Google이 우세합니다. Instagram, Facebook, Facebook Ads Library, Threads, Facebook Marketplace를 합치면 단일 사이트 대상 수요의 35.9%입니다. Google 계열 서비스(Maps, Search, YouTube, Trends, Ads Transparency Center, Flights·Hotels, News, Play, Jobs, Shopping, Scholar)는 19.6%입니다.
중국 플랫폼도 합치면 적지 않습니다. Douyin, Taobao·Tmall, 샤오훙수(RedNote), Bilibili, Weibo를 합치면 수요의 1.8%로, Amazon의 1.6%보다 큽니다.
대상 유형별 프록시 설정
이 데이터셋에는 각 실행이 어떤 프록시를 썼는지 기록되어 있지 않으므로, 아래는 분석 결과가 아니라 일반적인 메모입니다. 알맞은 구성은 사이트가 어떻게 방어하는지에 따라 달라집니다.
| 대상 유형 | 예시 | 주로 차단하는 요인 | 고려할 구성 |
|---|---|---|---|
| 소셜 플랫폼 | Instagram, TikTok, X, Reddit | IP당 속도 제한, 반복 요청 시 로그인 요구 | 로테이팅 레지덴셜 IP, IP당 적은 요청, 공개 페이지만 |
| 전문 및 채용 데이터 | LinkedIn, Indeed, Naukri | 엄격한 속도 제한, 로그인 요구 | 로테이팅 레지덴셜 IP, 느린 속도, 로그인 없이 보이는 목록 |
| 지도 및 로컬 | Google Maps, Yelp | 도시별로 결과가 달라짐 | 도시 타기팅 레지덴셜 IP |
| 지역 포털 | Naver, Taobao, ImmobilienScout24 | 해외 트래픽이 의심받음 | 대상 국가의 레지덴셜 IP, 여러 페이지 흐름에는 스티키 세션 |
| 여행 및 이커머스 | Google Flights, Amazon | 자바스크립트 렌더링, 핑거프린팅, IP 평판 | 레지덴셜 IP와 실제 브라우저, 검색마다 스티키 세션 하나 |
수집하는 내용에 대한 참고
많이 스크래핑되는 사이트라고 해서 모든 수집이 합법이 되는 것은 아닙니다. 로그인 없는 공개 페이지와 로그인 뒤의 콘텐츠는 다른 문제이며, 소셜 및 전문 네트워크의 프로필에는 보통 개인정보가 들어 있어 개인정보 보호법이 적용됩니다. 이 대상들로 무언가를 만들기 전에 웹 스크래핑은 합법인가를 읽고, 구체적인 프로젝트는 변호사와 상의하세요.
결론
이 30일 스냅샷에서 Instagram, LinkedIn, TikTok, Google Maps가 단일 사이트 대상 스크래핑 수요의 60%를 차지하며, 소셜 및 동영상 플랫폼만으로 절반을 넘습니다. 대형 대상은 대체로 원활하게 실행됩니다. 성공률이 가장 낮은 곳은 지역 플랫폼과 여행 가격이며, 여기서는 위치와 세션 처리가 실행의 성패를 가릅니다.
데이터 참고: 수치는 Shifter가 2026년 10월 30일에 가져온 Apify Store 공개 통계를 바탕으로 하며, 공개 스크래퍼 8,186개와 각 스크래퍼의 직전 30일 동안의 실행 2억 3,980만 회를 다룹니다. 이는 이 데이터셋 안의 활동이며 인터넷 전체의 웹 스크래핑이 아닙니다. 실행 성공률은 데이터셋 내 실행 결과를 나타낼 뿐, 웹사이트를 스크래핑하기 어려운 정도를 결정적으로 보여 주는 지표는 아닙니다.