OpenAI

Publica directamente la documentación de sus crawlers: cuatro bots declarados con controles robots.txt independientes, cadenas user-agent completas y rangos de IP por bot. Sobre su propio comportamiento de rastreo es la fuente primaria.

Cobertura

Crawlers y recuperación de ChatGPT

Sitio web

openai.com

Metodología publicada

Abrir el documento original