~80%
72%ein Jahr zuvor
Anteil des KI-Crawlings, der dem Training dient und nicht dem Abruf
Sammeln KI-Crawler Trainingsdaten oder beantworten sie Fragen?
Auf das Training entfielen bis Juli 2025 knapp 80 % der Aktivität von KI-Bots, nach 72 % ein Jahr davor.
~80%Anteil des KI-Crawlings, der dem Training dient und nicht dem Abruf
Von der Sichtbarkeitsfrage zu trennen, denn beides zieht in verschiedene Richtungen. Eine Website, die Trainings-Crawler blockiert, wird dadurch nicht sichtbarer in Antworten, und eine Website, die in Antworten erscheinen will, muss keine Trainingsdaten herausgeben. Bei allen großen Anbietern sind das zwei getrennte Schalter.
Quelle
- Bezugszeitraum
- Geografischer Raum
- Weltweit
- Art des Belegs
- Plattform-Telemetrie
- Stichprobe
- Share of AI bot activity Cloudflare classifies as training rather than search or user action. Dominated by one bot, OpenAI's GPTBot
- Zum Vergleich
- ein Jahr zuvor: 72%
- Zuletzt geprüft
Das Primärinstrument zu dieser Zahl haben wir nicht eingesehen: Sie stammt aus der Zusammenfassung des Herausgebers selbst oder aus einem Dokument, das sie zitiert. Das Niveau ist daher indikativ.
Methode
Cloudflare, Stand etwa Juli 2025. Die Aufteilung beruht auf Cloudflares eigener Einordnung des erklärten Zwecks jedes User-Agents, die Taxonomie führt eine Kategorie ohne Angabe, und die Summe wird von einem einzigen Bot dominiert, OpenAIs GPTBot. Damit ist die Zahl näher an einer Aussage über OpenAI als über KI-Crawling im Allgemeinen.
Verwandte Fragen
Verwandte Indikatoren
Keine
Zusätzliche technische Anforderungen für Googles AI Overviews
3 von 4
1 of 4nennen keine solche AusnahmeAssistenz-Anbieter, deren Dokumentation nutzerausgelöste Abrufe von robots.txt ausnimmt
4.2%
4.5%Googlebot alleinAnteil der KI-Bots an den HTML-Anfragen
~14%
312Domains, die GPTBot sperrenDomains mit KI-spezifischen robots.txt-Direktiven
25.9%
13.3%Anthropic und Common CrawlAnteil der hochwertigen Trainings-Token, die OpenAIs Crawlern verschlossen sind
55.3%