KI-Crawler
Ein Bot, der Webinhalte für Training oder zur Erdung laufender KI-Antworten abholt.
Den Zweck von Crawlern zu unterscheiden, ist heute eine operative Entscheidung. GPTBot, ClaudeBot, PerplexityBot, Google-Extended und andere haben unterschiedliche Rollen, und sie zu blockieren hat unterschiedliche Folgen: Einen Trainings-Crawler zu blockieren betrifft künftige Modelle, einen Abruf-Crawler zu blockieren kann Sie heute aus Antworten entfernen. Viele Tourismusseiten blockieren beide versehentlich über eine kopierte robots.txt.
Verwandte Begriffe
Verwandte Indikatoren
Jede Zahl nennt Herausgeber, Stichprobe und Erhebungszeitraum.