OpenAI

Pubblica direttamente la documentazione dei propri crawler: quattro bot dichiarati con controlli robots.txt separati, stringhe user-agent complete e intervalli IP per bot. Sul proprio comportamento di crawling è la fonte primaria.

Copertura

Crawler e recupero per ChatGPT

Sito

openai.com

Metodologia pubblicata

Apri il documento originale