Data Provenance Initiative

Auditoría multiinstitucional de los dominios que sustentan C4, RefinedWeb y Dolma, con recogida longitudinal de robots.txt y condiciones de servicio. La única medición no comercial de la restricción a los crawlers de IA.

Cobertura

Corpus de entrenamiento y consentimiento de datos web

Sitio web

www.dataprovenance.org

Metodología publicada

Abrir el documento original