Vai al contenuto

Crawler AI

Un bot che preleva contenuti web per l'addestramento o per ancorare risposte AI in tempo reale.

Distinguere lo scopo dei crawler è ormai una decisione operativa. GPTBot, ClaudeBot, PerplexityBot, Google-Extended e altri hanno ruoli diversi, e bloccarli ha conseguenze diverse: bloccare un crawler di addestramento incide sui modelli futuri, bloccarne uno di recupero può escludervi dalle risposte di oggi. Molti siti turistici li bloccano entrambi per sbaglio, con un robots.txt copiato.

Termini collegati

Indicatori collegati