Ir al contenido

Pregunta

¿Bloquear los crawlers de IA en robots.txt mantiene mi hotel fuera de ChatGPT?

Respuesta breve

Detiene a los crawlers programados. No detiene de forma fiable una petición iniciada por una persona, porque tres de los cuatro grandes fabricantes de asistentes publican que a esas puede no aplicarse robots.txt.

Se llaman igual dos cosas distintas. Un crawler de entrenamiento visita según un calendario para recoger contenido; una petición iniciada por el usuario se produce cuando alguien hace una pregunta y el asistente va a mirar. La primera respeta robots.txt en todos los grandes fabricantes. La segunda es donde la documentación se separa.

OpenAI escribe que, como esas acciones las inicia un usuario, las reglas de robots.txt pueden no aplicarse. Google escribe que sus fetchers iniciados por el usuario ignoran por lo general robots.txt. Perplexity dice lo mismo de Perplexity-User. Anthropic declara que sus bots respetan robots.txt y no nombra ninguna excepción, lo que no equivale a prometer que no la habrá.

La consecuencia práctica para un establecimiento es que un bloqueo general es una decisión sobre datos de entrenamiento, no sobre visibilidad. Mantendrá su contenido fuera de los pesos de los próximos modelos. No evitará de forma fiable que su página se lea cuando un viajero pregunte por usted, y en OpenAI y Perplexity los controles de búsqueda y de entrenamiento están explícitamente separados: se puede permitir uno y rechazar el otro.

Esa separación es la parte sobre la que vale la pena actuar. Permitir el bot de búsqueda y bloquear el de entrenamiento es una configuración documentada y soportada en ambos, y se parece bastante más a lo que de verdad quiere la mayoría de los hoteles que cualquiera de los dos extremos.

Por qué difieren las fuentes solventes

Los cuatro fabricantes describen su propio comportamiento y nadie los audita. Cloudflare ha acusado a Perplexity de rastrear desde agentes no declarados después de haber sido bloqueada; Perplexity responde que Cloudflare atribuyó mal el tráfico de un tercero. Ninguna de las dos publicó pruebas reproducibles, y ambas venden algo en la disputa.