|
Berlin (ots) -
- Der Webhosting-Anbieter Hostinger hat auf Grundlage von mehreren Milliarden
ihrer Kunden-Websites Anfragen analysiert, welche KI-Agenten das Web
dominieren
- Ergebnis: KI-Crawler wie OpenAI-GPTBot scannen über 4,4 Millionen von 5
Millionen Webseiten täglich und erreichen eine höhere Abdeckung als der
Googlebot
- Indexierung des Webs ist primär von Anbietern aus den USA geprägt, gefolgt von
China
KI-Crawler, allen voran der OpenAI GPTBot, haben in kürzester Zeit eine enorme
Reichweite aufgebaut und scannen inzwischen mehr Webseiten als Googles eigener
Bot. Das zeigt eine aktuelle Analyse des Webhostinganbieters Hostinger (
www.hostinger.de (https://www.hostinger.com/de) ), die auf der Auswertung von
über elf Milliarden täglichen Requests, rund 5 Millionen Webseiten und 55
verschiedenen User-Agent-Gruppen basiert. Darüber hinaus prägen Bots die
Online-Landschaft insgesamt immer stärker: Weniger bekannte Crawler verursachen
fast 1,4 Milliarden tägliche Anfragen und besuchen über 4,2 Millionen Webseiten.
Auch automatisierte Skripte sind mit 383 Millionen täglichen Requests und einer
Abdeckung von 91 Prozent nahezu allgegenwärtig.
Disclaimer: Bots sind automatisierte Programme, die das Internet durchsuchen und
dabei Inhalte erfassen. Dieser Vorgang wird Crawling genannt und ist die
Grundlage dafür, dass Suchmaschinen Websites auffindbar machen. Neue KI-Crawler
wie GPTBot sammeln Inhalte, damit diese in KI-Systemen wie ChatGPT genutzt
werden können. Bots senden sogenannte Requests, also einzelne Anfragen an eine
Website, um deren Inhalte abzurufen und zu speichern. Die Zahl der Requests
zeigt, wie intensiv ein Bot Daten sammelt, während die Zahl der erfassten
Websites angibt, wie breit er im Internet unterwegs ist. Manche Bots stellen
deutlich mehr Requests, weil sie Inhalte sehr detailliert erfassen oder
regelmäßig aktualisieren, andere konzentrieren sich stärker auf die Abdeckung
möglichst vieler Websites.
KI-Crawler auf dem Vormarsch
Besonders auffällig ist das Wachstum von KI-Bots. OpenAI-GPTBot verarbeitet
täglich mehr als 108 Millionen Anfragen und crawlt über 4,4 Millionen Webseiten,
mit einer Abdeckung von 84 Prozent. Damit liegt er bereits vor Googles eigenem
Bot, der mit 798 Millionen Requests rund 3,9 Millionen Webseiten erfasst, aber
nur 74 Prozent Abdeckung erreicht. Neben GPTBot zeigt auch der OpenAI-SearchBot
Aktivität und crawlt schon über 2,4 Millionen Webseiten, wenn auch mit deutlich
weniger Anfragen.
Die bekanntesten Bots im Bot-Ökosystem:
- Meta-Bots: Der Facebook-Bot fbexternalhit nutzt täglich über 70 Millionen
Requests und erreicht eine Abdeckung von 72 Prozent, während
meta-externalagent knapp unter 154 Millionen Requests auswertet und 60 Prozent
abdeckt.
- AhrefsBot: Als SEO-Crawler beeindruckend stark mit einer Abdeckung von 65
Prozent. Er analysiert rund 228 Millionen Requests.
- Bing-Bot: Bleibt mit 255 Millionen genutzten Requests und einer Abdeckung von
58 Prozent weiterhin ein relevanter Player.
- TikTok-Bot: Analysiert über 79 Millionen Requests und ist mit einer Abdeckung
von 24 Prozent gezielt im Einsatz.
- SEMRush-Bot: Nutzt 67 Millionen Requests und liegt bei der Abdeckung mit 24
Prozent gleichauf.
- Apple-Bot: Die Abdeckung liegt mit 22 Prozent nur knapp hinter den Bots von
TikTok und SEMRush. Genutzt werden 49 Millionen Requests.
- Claude-Bot (Anthropic): Wertet 66 Millionen Requests aus und erreicht bereits
eine Abdeckung von 5 Prozent.
Disclaimer: Die prozentuale Abdeckung bedeutet nicht, dass einige Bots den
Großteil an Webseiten ignorieren. Sie können Ziele rotieren und innerhalb
weniger Wochen ein nahezu vollständiges Abbild des Internets erstellen.
Chinesische und US-amerikanische Bots dominieren das Web
Die Analyse verdeutlicht, dass die Mehrheit der identifizierten Crawler von
großen US-Technologieunternehmen betrieben wird (rund 80 Prozent), darunter
OpenAI, Google, Meta, Amazon, Microsoft, Apple oder Anthropic. Ergänzt wird
dieses Bild durch eine kleinere Zahl chinesischer Bots (rund zehn Prozent), etwa
von Baidu, Sogou oder Huawei PetalSearch. Die Indexierung des Webs ist also
primär von Anbietern aus den USA und in geringerem Umfang aus China geprägt. Ein
weiterer sehr kleiner Teil von zusammen weniger als fünf Prozent stammt aus
anderen Ländern, darunter Russland (Yandex), Großbritannien (Majestic) und die
Niederlande (Dataprovider).
"Einerseits sehen Unternehmen eine Chance und nutzen sogar generative
Suchmaschinenoptimierung, um in KI-bezogenen Suchergebnissen besser sichtbar zu
sein. Für diejenigen, die mit den Aufrufen Geld verdienen, bringt diese
Veränderung jedoch Herausforderungen mit sich. Wenn ein KI-Tool bereits die
vollständige Antwort liefert, werden nur wenige Leser weiterklicken", so
Giedrius Zakaitis, Chief Product and Technology Officer bei Hostinger.
Um Website-Betreibern die Kontrolle zu geben, hat Hostinger AI Audit eingeführt,
eine Erweiterung seines Content Delivery Network (CDN). Damit können Kreative
und Unternehmen KI-Crawler verfolgen und verwalten.
"Künstliche Intelligenz eröffnet unglaubliche Möglichkeiten, aber das sollte
nicht zum Nachteil der Kreativen werden. Sie sollten selbst entscheiden können,
wie ihre Inhalte zu diesem neuen Ökosystem beitragen, ausgehend von ihren Zielen
und Wertvorstellungen", so Zakaitis. "Genau darum geht es beim KI-Audit:
Website-Betreibern die nötige Transparenz und Kontrolle zu bieten".
Über die Untersuchung
Im Rahmen der Analyse hat Hostinger die Protokolle der Crawler-Besuche auf 5
Millionen Webseiten, die von den Kunden des Unternehmens gehostet werden,
untersucht. Dabei wurden die Anzahl der Anfragen sowie der gecrawlten Webseiten
und die damit einhergehende Gesamtabdeckung erhoben. Die Untersuchung fand vom
20.08.2025 bis einschließlich 25.08.2025 statt.
Über Hostinger
Hostinger ist ein weltweit führender Anbieter von Webhosting-Lösungen und
Domains mit der Mission, Menschen überall auf der Welt den Weg ins
Online-Business zu erleichtern. Mit innovativer Technologie, leistungsstarken
Servern und benutzerfreundlichen Tools ermöglicht Hostinger Unternehmen,
Entwicklern und Kreativen, professionelle Webseiten schnell und einfach zu
erstellen. Gegründet im Jahr 2004, betreut das Unternehmen heute Millionen
Kunden in über 150 Ländern. Hostinger steht für erstklassige Performance,
hervorragenden Support und erschwingliche Preise - die perfekte Kombination für
erfolgreiches digitales Wachstum.
Pressekontakt:
Klaas Geller | mailto:klaas.geller@tonka-pr.com | +49 176 7471 7519
Andreas Oertel | mailto:andreas.oertel@tonka-pr.com | +49 30 4036 68115
Weiteres Material: http://presseportal.de/pm/181170/6134183
OTS: HOSTINGER operations, UAB
|
