robots.txt

Le robots.txt régit désormais la visibilité IA en plus de l'indexation dans la recherche, et ces deux décisions doivent être prises séparément. Une erreur fréquente et coûteuse dans le tourisme est un disallow global hérité d'un modèle, qui retire silencieusement un établissement de la couche de récupération sur laquelle se construisent les réponses d'IA. Les analyseurs stricts terminent un groupe de règles à la première ligne vide : une erreur de mise en forme peut donc désactiver des règles sans avertissement.