Hält ein Crawler-Verbot in der robots.txt mein Hotel aus ChatGPT heraus?

Zwei verschiedene Dinge laufen unter demselben Namen. Ein Trainings-Crawler kommt nach Plan vorbei, um Inhalte zu sammeln; ein nutzerausgelöster Abruf passiert, wenn jemand eine Frage stellt und der Assistent nachsieht. Das Erste befolgt robots.txt bei allen großen Anbietern. Beim Zweiten gehen die Dokumentationen auseinander.

OpenAI schreibt, robots.txt-Regeln gälten möglicherweise nicht, weil diese Vorgänge von einem Nutzer ausgelöst werden. Google schreibt, seine nutzerausgelösten Fetcher ignorierten robots.txt in der Regel. Perplexity schreibt dasselbe über Perplexity-User. Anthropic erklärt, seine Bots beachteten robots.txt, und nennt keine Ausnahme; das ist nicht dasselbe wie die Zusage, keine zu machen.

Für ein Haus heißt das praktisch: Eine pauschale Sperre ist eine Entscheidung über Trainingsdaten, nicht über Sichtbarkeit. Sie hält Ihre Inhalte aus künftigen Modellgewichten heraus. Sie hält Ihre Seite nicht zuverlässig davon ab, gelesen zu werden, wenn ein Reisender nach Ihnen fragt, und bei OpenAI und Perplexity sind die Schalter für Suche und Training ausdrücklich getrennt: Sie können den einen erlauben und den anderen verweigern.

Genau diese Trennung lohnt das Handeln. Den Such-Bot zu erlauben und den Trainings-Bot zu sperren, ist bei beiden eine dokumentierte und unterstützte Konfiguration, und sie liegt näher an dem, was die meisten Hotels tatsächlich wollen, als jedes der beiden Extreme.