OpenAI

Publie directement la documentation de ses crawlers : quatre bots déclarés avec des contrôles robots.txt distincts, des chaînes user-agent complètes et des plages d'IP par bot. Sur son propre comportement d'exploration, c'est la source primaire.

Couverture

Crawlers et récupération de ChatGPT

Site web

openai.com

Méthodologie publiée

Ouvrir le document d'origine