~14%
312Domains, die GPTBot sperren
Domains mit KI-spezifischen robots.txt-Direktiven
Wie viele Websites haben zu KI-Crawlern Stellung bezogen?
Rund 14 %, also 546 der 3.816 Top-Domains, bei denen eine robots.txt gefunden wurde. GPTBot war der am häufigsten blockierte und zugleich der am häufigsten ausdrücklich erlaubte Crawler.
~14%Domains mit KI-spezifischen robots.txt-Direktiven
Die Arbeit leistet hier der Nenner. Es sind 14 % der Domains mit auffindbarer robots.txt, nicht 14 % der zehntausend größten, und gezählt werden Allow- wie Disallow-Direktiven. Zu lesen ist das als «die meisten Websites haben überhaupt keine KI-Regel», und das ist der Befund; nicht als «14 % blockieren KI», was so nicht gemessen wurde.
Quelle
- Bezugszeitraum
- Geografischer Raum
- Weltweit
- Art des Belegs
- Analyse
- Stichprobe
- 546 of 3,816 domains that had a findable robots.txt, drawn from Cloudflare Radar's top 10,000. Counts allow as well as disallow directives
- Zum Vergleich
- Domains, die GPTBot sperren: 312
- Zuletzt geprüft
Das Primärinstrument zu dieser Zahl haben wir nicht eingesehen: Sie stammt aus der Zusammenfassung des Herausgebers selbst oder aus einem Dokument, das sie zitiert. Das Niveau ist daher indikativ.
Methode
Cloudflare Radar, Momentaufnahme eines Crawls vom 6. Juni 2025 aus den Top-10.000-Domains von Radar. 312 Domains sperrten GPTBot aus, 250 vollständig und 62 teilweise; 61 erlaubten ihn ausdrücklich. Cloudflare weist darauf hin, dass einige Token in robots.txt, darunter Google-Extended, keine Teilzeichenfolgen von User-Agents sind und daher in den Request-Logs nicht greifen.
Verwandte Fragen
Verwandte Indikatoren
42%
29%prüfen manchmal nachVerbraucher, die KI-Antworten immer überprüfen
25%
Reisende mit veralteten oder falschen KI-Reiseinformationen
70%
Tourismusbetriebe, die bereits KI einsetzen
94%
60%Betriebe mit weniger als 10 MitarbeitendenLücke in der Cybersicherheits-Bereitschaft nach Betriebsgröße
52%
Führungskräfte mit KI-Agenten im Produktivbetrieb
6
