3 su 4
1 of 4non dichiarano alcuna eccezione
Produttori di assistenti la cui documentazione ammette prelievi che ignorano il robots.txt
Il robots.txt impedisce a un assistente AI di leggere la mia pagina?
Per la scansione automatica sì. Per un prelievo avviato da un utente, tre dei quattro principali produttori di assistenti dichiarano che il robots.txt può non applicarsi.
3 of 4
Produttori di assistenti la cui documentazione ammette prelievi che ignorano il robots.txt
Ottobre 2026 · Globale
1 of 4
non dichiarano alcuna eccezione
Per confronto
È la distinzione che quasi tutti i consigli sul robots.txt lasciano cadere. Bloccare un crawler di addestramento è ben documentato e funziona. Ma quando una persona chiede a un assistente informazioni sul vostro hotel e l'assistente va a guardare, OpenAI, Google e Perplexity dichiarano tutte e tre che la regola può essere ignorata, perché il prelievo è stato richiesto da un essere umano e non programmato da una macchina. La documentazione di Anthropic non prevede alcuna eccezione di questo tipo.
Fonte
- Periodo di riferimento
- Area geografica
- Globale
- Tipo di evidenza
- Analisi
- Campione
- OpenAI, Google and Perplexity each publish that user-initiated fetches may ignore robots.txt; Anthropic's documentation states no equivalent exception
- Per confronto
- non dichiarano alcuna eccezione: 1 of 4
- Ultima verifica
Metodo
Letto a ottobre 2026 nella documentazione sui crawler di ciascun produttore. OpenAI: "Because these actions are initiated by a user, robots.txt rules may not apply." Google: "these fetchers generally ignore robots.txt rules." Perplexity: "Since a user requested the fetch, this fetcher generally ignores robots.txt rules." Anthropic dichiara che i propri bot rispettano il robots.txt e non nomina eccezioni. Il silenzio non è un impegno: il quarto caso va letto come non documentato, non come una garanzia.
Domande collegate
Indicatori collegati
42%
29%verificano a volteConsumatori che verificano sempre quanto dice l'AI
25%
Viaggiatori che hanno ricevuto informazioni di viaggio obsolete o sbagliate dall'AI
70%
Imprese turistiche che già usano l'AI
94%
60%strutture con meno di 10 dipendentiDivario di preparazione alla cybersecurity per dimensione della struttura
52%
Dirigenti che dichiarano agenti AI in produzione
6
