Data Provenance Initiative

Audit multi-institutionnel des domaines derrière C4, RefinedWeb et Dolma, avec collecte longitudinale des robots.txt et des conditions d'utilisation. La seule mesure non commerciale de la restriction des crawlers d'IA.

Couverture

Corpus d'entraînement et consentement des données web

Site web

www.dataprovenance.org

Méthodologie publiée

Ouvrir le document d'origine