Jede Liste der meistgescrapten Websites stammt aus den privaten Logs von irgendjemandem und ist daher schwer zu prüfen. Wir wollten eine, die Sie selbst nachbauen können. Am 30. Oktober 2026 haben wir die öffentlichen Statistiken der beliebtesten fertigen Scraper im Apify Store abgerufen: 8.186 Scraper, die in ihren letzten 30 Tagen zusammen 239,8 Millionen Läufe verzeichneten. Wir haben jeden der Website zugeordnet, die er ansteuert, und die Websites gerankt. Wenn Sie von einer davon Daten erfassen, zeigen die Hinweise zum Setup mit Residential Proxies am Ende, was für jede Art von Ziel meist funktioniert.
Die größeren Trends hinter diesen Zahlen beschreibt der Stand des Web Scrapings 2026. Dieser Beitrag liefert die Daten.
Die wichtigsten Erkenntnisse
- Instagram und LinkedIn vereinen 43,5 % der seitenspezifischen Nachfrage. Instagram führt mit 25,3 %, LinkedIn folgt mit 18,2 %.
- Vier Websites machen 60,0 % aus: Instagram, LinkedIn, TikTok und Google Maps.
- Social Media und Video stehen für 56,0 % der Nachfrage und 60,2 % der Läufe.
- Meta-Plattformen kommen zusammen auf 35,9 %, Google-Dienste auf 19,6 %.
- KI-Antwortmaschinen fallen kaum ins Gewicht: 0,1 % der Nachfrage.
- Die meisten großen Ziele laufen reibungslos. Sieben der acht größten Websites haben eine Erfolgsquote von 98,5 % oder mehr. Die niedrigsten Quoten haben regionale Ziele und Reiseportale wie Naver, Taobao, ImmobilienScout24 und Google Flights.
So haben wir gemessen
Die Apify Store API veröffentlicht für jeden öffentlichen Scraper (einen „Actor”) die Zahl seiner Nutzer in den letzten 30 Tagen und das Ergebnis seiner öffentlichen Läufe im selben Zeitraum: erfolgreich, fehlgeschlagen, Zeitüberschreitung oder abgebrochen.
- Erfassen. Wir haben am 30. Oktober 2026 die ersten 10.000 Plätze des Beliebtheitsrankings des Stores gelesen. Das ergab 8.186 eindeutige Scraper von 104.320 gelisteten.
- Einem Ziel zuordnen. Jeden Scraper haben wir anhand von Name und Titel einer einzigen Website zugeordnet, etwa „Instagram Profile Scraper” zu Instagram. Ein Scraper, der mehrere Plattformen nennt, ging an die erste, die unsere Regeln erkannten. Die Anteile zwischen den großen sozialen Netzwerken sind daher Näherungswerte.
- Ranken. Wir haben die Websites nach der Summe der aktiven Nutzer der letzten 30 Tage über alle Scraper für diese Website gerankt und geben Läufe und Laufergebnisse daneben an.
Vier Einschränkungen sind wichtig:
- Das ist Self-Service-Nachfrage, nicht der gesamte Traffic. Teams mit eigenen Scrapern tauchen hier nicht auf.
- Nutzer werden pro Scraper gezählt. Wer drei Instagram-Scraper nutzt, zählt dreimal. Websites mit vielen spezialisierten Scrapern wirken dadurch größer.
- 13,8 % der Nachfrage lassen sich keiner einzelnen Website zuordnen. Generische Crawler, RAG-Browser, Kontaktfinder und Lead-Datenbanken sind nicht im Website-Ranking enthalten.
- Ein fehlgeschlagener Lauf beweist keine Blockierung. Läufe scheitern auch an falschen Eingaben, Änderungen an der Website und Zeitlimits, die der Nutzer gesetzt hat.
Die 15 meistgescrapten Websites 2026
Der Anteil ist der Teil der aktiven Nutzer der letzten 30 Tage über alle Scraper, die eine einzelne Website ansteuern.
| Rang | Website | Anteil an der seitenspezifischen Nachfrage | Läufe in 30 Tagen | Läufe pro Nutzer |
|---|---|---|---|---|
| 1 | 25,3 % | 51,0 Mio. | 239 | |
| 2 | 18,2 % | 37,2 Mio. | 244 | |
| 3 | TikTok | 8,7 % | 33,9 Mio. | 464 |
| 4 | Google Maps | 7,8 % | 17,4 Mio. | 266 |
| 5 | 6,5 % | 18,1 Mio. | 330 | |
| 6 | YouTube | 6,5 % | 8,4 Mio. | 153 |
| 7 | Google Search | 3,6 % | 13,6 Mio. | 447 |
| 8 | X (Twitter) | 3,5 % | 17,5 Mio. | 594 |
| 9 | Facebook Ads Library | 3,1 % | 4,8 Mio. | 186 |
| 10 | 2,8 % | 1,9 Mio. | 84 | |
| 11 | Amazon | 1,6 % | 2,3 Mio. | 169 |
| 12 | Indeed | 1,5 % | 2,9 Mio. | 233 |
| 13 | Douyin | 0,8 % | 0,10 Mio. | 15 |
| 14 | Threads | 0,7 % | 0,74 Mio. | 132 |
| 15 | Naukri | 0,6 % | 0,10 Mio. | 18 |
Drei Muster fallen auf.
Soziale Plattformen dominieren. Profile, Beiträge, Kommentare und Videos von Instagram, TikTok, Facebook und YouTube sind das Rohmaterial für Social-Media-Monitoring, Influencer-Recherche und Markenbeobachtung, und diese Arbeit läuft jeden Tag.
X wird pro Nutzer weit häufiger ausgeführt als alles andere in den Top 15. 594 Läufe pro aktivem Nutzer in 30 Tagen, gegenüber 239 bei Instagram. Es folgen TikTok (464) und Google Search (447). Ein hohes Verhältnis deutet auf geplante, wiederholte Erfassung statt einmaliger Abrufe hin.
Google Maps auf Platz vier ist eine Lead-Generierungs-Geschichte. Seine 152 Scraper sind darauf ausgelegt, Brancheneinträge, Bewertungen und Kontaktdaten zu erfassen. Die Methode beschreiben wir unter lokale Unternehmensdaten scrapen.
Scraping-Nachfrage nach Kategorie
Social Media und Video vereinen mehr als die Hälfte der Nachfrage, die drei größten Kategorien zusammen 82,3 %.
| Kategorie | Anteil an der seitenspezifischen Nachfrage | Anteil an den Läufen | Größte Ziele |
|---|---|---|---|
| Social Media und Video | 56,0 % | 60,2 % | Instagram, TikTok, Facebook, YouTube, X |
| B2B- und Berufsdaten | 18,3 % | 16,8 % | LinkedIn, Crunchbase |
| Karten und lokale Unternehmen | 8,0 % | 8,6 % | Google Maps, Yelp |
| Suchmaschinen und SEO-Daten | 5,2 % | 6,5 % | Google Search, Google Trends, Similarweb |
| E-Commerce und Marktplätze | 3,9 % | 1,9 % | Amazon, AliExpress und Alibaba, Taobao und Tmall |
| Werbeanalyse | 3,5 % | 2,5 % | Facebook Ads Library, Google Ads Transparency Center |
| Jobs und Talente | 2,7 % | 1,8 % | Indeed, Naukri, Glassdoor |
| Reisen | 0,9 % | 0,8 % | Airbnb, Tripadvisor, Booking.com |
| Immobilien | 0,6 % | 0,6 % | Zillow, Idealista |
| Bewertungen | 0,5 % | 0,1 % | Trustpilot, G2 |
| App-Stores und Entwickler | 0,3 % | 0,1 % | Google Play, Apple App Store |
| KI-Antwortmaschinen | 0,1 % | 0,0 % | ChatGPT, Perplexity, Gemini |
Jobdaten sind größer, als ihre Zeile vermuten lässt: LinkedIn-Job-Scraper stehen unter LinkedIn, in der B2B-Zeile.
E-Commerce wirkt klein, und das täuscht. Preis- und Katalog-Monitoring in großem Maßstab wird meist intern gebaut oder als Feed eingekauft und taucht daher selten als Marktplatz-Nachfrage auf. Amazon belegt allein trotzdem Platz elf.
Websites mit den niedrigsten Scraping-Erfolgsquoten
Beliebt heißt nicht einfach. Die Tabelle zeigt die Ziele mit den niedrigsten Erfolgsquoten unter denen mit mindestens 50.000 Läufen in 30 Tagen.
| Website | Erfolgreiche Läufe | Fehlgeschlagen oder Zeitüberschreitung | Abgebrochen | Läufe in 30 Tagen |
|---|---|---|---|---|
| Naver | 79,0 % | 0,3 % | 20,7 % | 50.991 |
| Taobao und Tmall | 81,4 % | 18,6 % | 0,0 % | 140.407 |
| Google Trends | 89,0 % | 5,7 % | 5,2 % | 119.170 |
| ImmobilienScout24 | 89,9 % | 10,1 % | 0,0 % | 132.649 |
| Google Flights und Hotels | 92,1 % | 7,7 % | 0,2 % | 149.021 |
| Google Play | 94,7 % | 1,6 % | 3,8 % | 69.753 |
| Trustpilot | 95,9 % | 2,5 % | 1,5 % | 126.576 |
| 96,2 % | 3,0 % | 0,8 % | 1.943.609 | |
| YouTube | 97,0 % | 2,8 % | 0,2 % | 8.432.062 |
| Apple App Store | 97,1 % | 0,5 % | 2,4 % | 54.734 |
Die Liste hat eine klare Form:
- Regionale Plattformen scheitern am häufigsten. Taobao und Tmall, ImmobilienScout24 und Naver bedienen jeweils einen Heimatmarkt. Zugriffe von außerhalb dieses Marktes sind eine häufige Fehlerquelle, auch wenn die Daten die Ursache der einzelnen Fehler nicht erfassen.
- Naver ist ein Ausreißer anderer Art. Fast alle erfolglosen Läufe wurden abgebrochen, also vor dem Ende gestoppt, nicht fehlgeschlagen. Die Daten sagen nicht, warum.
- Reisepreise sind schwierig. Bei Google Flights und Hotels schlugen 7,7 % der Läufe fehl oder liefen in eine Zeitüberschreitung. Unser Leitfaden zum Scrapen von Flug- und Hotelpreisen erklärt, warum Standort und Session dort wichtig sind.
- Größe bedeutet nicht Schwierigkeit. YouTube und Reddit stehen mit Millionen von Läufen auf dieser Liste, doch die meisten großen sozialen Ziele bleiben über 98,5 %.
Ein erfolgreicher Lauf liefert nicht immer korrekte Daten. Eine Website kann eine leere oder veraltete Seite mit einem normalen Statuscode zurückgeben. Prüfen Sie daher den Inhalt, nicht nur das Ergebnis.
Weitere Erkenntnisse
KI-Antwortmaschinen fallen kaum ins Gewicht. Scraper für ChatGPT, Perplexity und Gemini kamen auf 1.042 aktive Nutzer und 82.543 Läufe, etwa 0,1 % der Nachfrage. Das sagt mehr über diesen Marktplatz aus als über KI-Suchverkehr insgesamt.
Meta und Google dominieren. Instagram, Facebook, die Facebook Ads Library, Threads und Facebook Marketplace vereinen zusammen 35,9 % der seitenspezifischen Nachfrage. Google-Dienste (Maps, Search, YouTube, Trends, das Ads Transparency Center, Flights und Hotels, News, Play, Jobs, Shopping und Scholar) kommen auf 19,6 %.
Chinesische Plattformen summieren sich. Douyin, Taobao und Tmall, Xiaohongshu (RedNote), Bilibili und Weibo kommen zusammen auf 1,8 % der Nachfrage, mehr als die 1,6 % von Amazon.
Proxy-Setup nach Art des Ziels
Der Datensatz erfasst nicht, welche Proxies ein Lauf genutzt hat. Die folgenden Punkte sind daher allgemeine Hinweise, keine Ergebnisse. Das richtige Setup hängt davon ab, wie sich eine Website schützt:
| Art des Ziels | Beispiele | Was meist blockiert | Mögliches Setup |
|---|---|---|---|
| Soziale Plattformen | Instagram, TikTok, X, Reddit | Ratenlimits pro IP, Login-Sperren bei wiederholten Anfragen | Rotierende Residential-IPs, wenige Anfragen pro IP, nur öffentliche Seiten |
| Berufs- und Jobdaten | LinkedIn, Indeed, Naukri | Strenge Ratenlimits, Anmeldeaufforderungen | Rotierende Residential-IPs, langsames Tempo, Einträge ohne Login |
| Karten und Lokales | Google Maps, Yelp | Ergebnisse ändern sich je nach Stadt | Residential-IPs mit Stadt-Targeting |
| Regionale Portale | Naver, Taobao, ImmobilienScout24 | Ausländischer Traffic wirkt verdächtig | Residential-IPs im Zielland, Sticky-Sessions für mehrseitige Abläufe |
| Reisen und E-Commerce | Google Flights, Amazon | JavaScript-Rendering, Fingerprinting, IP-Reputation | Residential-IPs plus echter Browser, eine Sticky-Session pro Suche |
Ein Hinweis dazu, was Sie erfassen
Dass eine Website häufig gescrapt wird, macht nicht jede Art der Erfassung rechtmäßig. Öffentliche Seiten ohne Login sind ein anderer Fall als Inhalte hinter einem Login, und Profile in sozialen und beruflichen Netzwerken enthalten meist personenbezogene Daten, was das Datenschutzrecht ins Spiel bringt. Lesen Sie Ist Web Scraping legal, bevor Sie auf einem dieser Ziele aufbauen, und fragen Sie zu Ihrem konkreten Projekt einen Anwalt.
Fazit
In diesem 30-Tage-Snapshot vereinen Instagram, LinkedIn, TikTok und Google Maps 60 % der seitenspezifischen Scraping-Nachfrage, und soziale und Video-Plattformen allein mehr als die Hälfte. Die großen Ziele laufen größtenteils reibungslos. Die niedrigsten Erfolgsquoten haben regionale Plattformen und Reisepreise, wo Standort und Session-Handling darüber entscheiden, ob ein Lauf funktioniert.
Hinweis zu den Daten: Die Zahlen stammen aus öffentlichen Statistiken des Apify Store, die Shifter am 30. Oktober 2026 abgerufen hat. Sie umfassen 8.186 öffentliche Scraper und 239,8 Millionen Läufe in den jeweils letzten 30 Tagen jedes Scrapers. Sie beschreiben die Aktivität in diesem Datensatz, nicht das gesamte Web Scraping im Internet. Die Erfolgsquoten beschreiben Laufergebnisse im Datensatz und sind kein endgültiges Maß dafür, wie schwer eine Website zu scrapen ist.