Ir al contenido
RankWit AI
Empezar ahora
CloudflareAnálisis

~14%

312dominios que bloquean GPTBot

Dominios con directivas de robots.txt específicas para IA

¿Cuántos sitios han tomado posición sobre los crawlers de IA?

Alrededor del 14%: 546 de los 3.816 dominios principales en los que se encontró un archivo robots.txt. GPTBot fue a la vez el más bloqueado y el más autorizado de forma explícita.

ValorJunio de 2025 · Global

~14%Dominios con directivas de robots.txt específicas para IA

Cloudflare

Aquí el trabajo lo hace el denominador. Es el 14% de los dominios que tienen un robots.txt localizable, no el 14% de los diez mil principales, y cuenta tanto las directivas de permiso como las de bloqueo. Hay que leerlo como «la mayoría de los sitios no tiene ninguna regla sobre IA», que es el hallazgo, y no como «el 14% bloquea la IA», que no es lo que se midió.

Fuente

CloudflareDatos de plataforma
Abrir el documento originalabre el documento original en el sitio del editor
Periodo de referencia
Ámbito geográfico
Global
Tipo de evidencia
Análisis
Muestra
546 of 3,816 domains that had a findable robots.txt, drawn from Cloudflare Radar's top 10,000. Counts allow as well as disallow directives
Para comparar
dominios que bloquean GPTBot: 312
Última verificación

No hemos consultado el instrumento primario de esta cifra: procede del resumen del propio editor o de un documento que la cita. Trate el nivel como indicativo.

Método

Cloudflare Radar, rastreo puntual del 6 de junio de 2025 sobre los 10.000 dominios principales de Radar. 312 dominios bloquearon GPTBot, 250 por completo y 62 de forma parcial; 61 lo autorizaron explícitamente. Cloudflare advierte de que algunos tokens de robots.txt, Google-Extended entre ellos, no son subcadenas del user-agent y por tanto no coinciden con los registros de peticiones.

Método →

Preguntas relacionadas

Indicadores relacionados