robots.txt

Il robots.txt governa oggi la visibilità AI oltre all'indicizzazione nella ricerca, e le due scelte vanno prese separatamente. Un errore diffuso e costoso nel turismo è un disallow generalizzato ereditato da un template, che toglie silenziosamente una struttura dallo strato di recupero su cui si costruiscono le risposte AI. I parser rigorosi chiudono un gruppo di regole alla prima riga vuota, quindi un errore di formattazione può disattivare le regole senza avvisi.