FineFineWeb m-a-p
FineFineWeb: A Comprehensive Study on Fine-Grained Domain Web Corpus arXiv: Coming Soon Project Page: Coming Soon Blog: Coming Soon Data Statistics Domain (#tokens/#samples) Iteration 1 Tokens Iteration 2 Tokens Iteration 3 Tokens Total Tokens Iteration 1 Count Iteration 2 Count Iteration 3 Count Total Count aerospace 5.77B 261.63M 309.33M 6.34B 9100000 688505 611034 10399539 agronomy 13.08B 947.41M 229.04M 14.26B 15752828 2711790 649404 19114022… See the full description on the dataset page: https://huggingface.co/datasets/m-a-p/FineFineWeb.
- Typ
- dataset
- Lizenz
- apache-2.0
- Sprache
- en
- Downloads
- 1,145,518
- Likes
- 167
- Zugriff
- public
- Dateien
- 0
Tags
- Vortrainingskorpus
- Webdaten
- Textdatensatz
- Englisch
- Deduplizierung
- Große Sprachmodelle
- Textgenerierung
Zusammenfassung
FineFineWeb ist ein feingranulares, domänenspezifisches englischsprachiges Web-Korpus auf Basis von FineWeb, das über 4,4 Billionen Token in 81 verschiedene Wissensdomänen (von Luft- und Raumfahrt bis Finanzen) unterteilt. Es löst das Problem der domänenbezogenen Datenauswahl für das Vortraining gr…
README
--- license: apache-2.0 task_categories: - text-classification - text2text-generation - text-generation language: - en size_categories: - n>1T --- # FineFineWeb: Eine umfassende Studie über feingranulare Domain-Webkorpora arXiv: In Kürze Projektseite: In Kürze Blog: In Kürze ## Data Statistics | Do…