25.9%
13.3%Anthropic et Common Crawl
Part des tokens d'entraînement de haute valeur fermés aux crawlers d'OpenAI
Quelle part du web de qualité a été fermée à l'entraînement des IA ?
25,9 % des tokens de la tête du corpus C4 étaient fermés aux crawlers d'OpenAI en avril 2024, contre 13,3 % pour Anthropic et Common Crawl.
25.9%
Part des tokens d'entraînement de haute valeur fermés aux crawlers d'OpenAI
Avril 2024 · Monde
13.3%
Anthropic et Common Crawl
Pour comparaison
La seule mesure non commerciale sur le sujet, et la preuve la plus nette que les jetons d'opt-out ont changé les comportements : les restrictions se sont redistribuées brutalement juste après l'introduction de GPTBot et de Google-Extended. C'est aussi le chiffre le plus ancien de ce groupe, et la tendance s'est presque certainement poursuivie depuis.
Source
- Période de référence
- Zone géographique
- Monde
- Type de preuve
- Analyse
- Échantillon
- Tokens in Head C4, the 3,950 highest-token domains of the C4 corpus. Audit of 14,000 web domains with longitudinal robots.txt collection
- Pour comparaison
- Anthropic et Common Crawl: 13.3%
- Dernière vérification
Méthode
Data Provenance Initiative, « Consent in Crisis », audit de 14 000 domaines web sous-jacents à C4, RefinedWeb et Dolma, avec collecte longitudinale des robots.txt depuis des captures archivées et annotation humaine. La tête de C4 désigne les 3 950 domaines les plus riches en tokens. Les données s'arrêtent en avril 2024 : à traiter comme le point d'inflexion historique, non comme l'état actuel. Les projections de l'article sont des prévisions et ne sont pas reprises ici.
Questions liées
Indicateurs liés
42%
29%vérifient parfoisConsommateurs qui vérifient toujours ce que dit l'IA
25%
Voyageurs ayant reçu de l'IA des informations périmées ou erronées
70%
Entreprises touristiques utilisant déjà l'IA
94%
60%établissements de moins de 10 salariésÉcart de préparation en cybersécurité selon la taille de l'établissement
52%
Dirigeants déclarant des agents d'IA en production
6
