Data Provenance Initiative

Institutionsübergreifende Prüfung der Domains hinter C4, RefinedWeb und Dolma, mit längsschnittlicher Erhebung von robots.txt und Nutzungsbedingungen. Die einzige nicht kommerzielle Messung der Beschränkung von KI-Crawlern.

Abdeckung

Trainingskorpora und Einwilligung bei Webdaten

Website

www.dataprovenance.org

Veröffentlichte Methodik

Originaldokument öffnen