OpenAI

Veröffentlicht die Dokumentation der eigenen Crawler direkt: vier deklarierte Bots mit getrennten robots.txt-Steuerungen, vollständige User-Agent-Strings und IP-Bereiche je Bot. Zum eigenen Crawling-Verhalten ist das die Primärquelle.

Abdeckung

ChatGPT-Crawler und Retrieval

Website

openai.com

Veröffentlichte Methodik

Originaldokument öffnen