Aller au contenu
RankWit AI
Commencer
CloudflareAnalyse

~14%

312domaines bloquant GPTBot

Domaines dotés de directives robots.txt propres à l'IA

Combien de sites ont pris position sur les crawlers d'IA ?

Environ 14 %, soit 546 des 3 816 grands domaines où un fichier robots.txt a été trouvé. GPTBot y est à la fois le plus bloqué et le plus explicitement autorisé.

ValeurJuin 2025 · Monde

~14%Domaines dotés de directives robots.txt propres à l'IA

Cloudflare

Ici, tout le travail est fait par le dénominateur. Il s'agit de 14 % des domaines disposant d'un robots.txt repérable, et non de 14 % des dix mille premiers, et le décompte inclut les directives d'autorisation autant que celles d'interdiction. À lire comme « la plupart des sites n'ont aucune règle sur l'IA », ce qui est le constat, et non comme « 14 % bloquent l'IA », ce qui n'a pas été mesuré.

Source

CloudflareDonnées de plateforme
Ouvrir le document d'origineouvre le document d'origine sur le site de l'éditeur
Période de référence
Zone géographique
Monde
Type de preuve
Analyse
Échantillon
546 of 3,816 domains that had a findable robots.txt, drawn from Cloudflare Radar's top 10,000. Counts allow as well as disallow directives
Pour comparaison
domaines bloquant GPTBot: 312
Dernière vérification

Nous n'avons pas consulté l'instrument primaire de ce chiffre : il provient du résumé de l'éditeur lui-même ou d'un document qui le cite. Le niveau est donc indicatif.

Méthode

Cloudflare Radar, relevé ponctuel du 6 juin 2025, sur les 10 000 premiers domaines de Radar. 312 domaines interdisaient GPTBot, 250 totalement et 62 partiellement ; 61 l'autorisaient explicitement. Cloudflare note que certains jetons de robots.txt, dont Google-Extended, ne sont pas des sous-chaînes de user-agent et ne correspondent donc à rien dans les journaux de requêtes.

Méthode →

Questions liées

Indicateurs liés