robots.txt
Die Datei, die Crawlern sagt, welche Teile einer Website sie abholen dürfen.
robots.txt steuert heute neben der Suchindexierung auch die KI-Sichtbarkeit, und beides verlangt getrennte Entscheidungen. Ein häufiger, teurer Fehler im Tourismus ist ein pauschales Disallow aus einer Vorlage, das ein Haus still aus der Abrufschicht entfernt, auf der KI-Antworten aufbauen. Strenge Parser beenden eine Regelgruppe bei der ersten Leerzeile; ein Formatfehler kann Regeln also unbemerkt deaktivieren.
Verwandte Begriffe
Verwandte Indikatoren
Jede Zahl nennt Herausgeber, Stichprobe und Erhebungszeitraum.