smollm-corpus HuggingFaceTB
SmolLM-Corpus This dataset is a curated collection of high-quality educational and synthetic data designed for training small language models. You can find more details about the models trained on this dataset in our SmolLM blog post. Dataset subsets Cosmopedia v2 Cosmopedia v2 is an enhanced version of Cosmopedia, the largest synthetic dataset for pre-training, consisting of over 39 million textbooks, blog posts, and stories generated by… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus.
- Typ
- dataset
- Lizenz
- odc-by
- Sprache
- en
- Downloads
- 46,086
- Likes
- 481
- Zugriff
- public
- Dateien
- 0
Tags
- Vortrainingskorpus
- Textdatensatz
- Synthetische Daten
- Code-Daten
- Große Sprachmodelle
- Englisch
- Textgenerierung
- LLM-Training
Zusammenfassung
SmolLM-Corpus ist ein kuratiertes Datenset für das Training kleiner Sprachmodelle und kombiniert hochwertige Bildungs- und synthetische Daten. Es umfasst drei Subsets: Cosmopedia v2 (über 39 Mio. synthetische Lehrbücher und Blogposts), FineWeb-Edu-dedup (220 Mrd. Tokens deduplizierter Bildungs-Webs…
README
--- license: odc-by dataset_info: - config_name: cosmopedia-v2 features: - name: prompt dtype: string - name: text dtype: string - name: token_length dtype: int64 - name: audience dtype: string - name: format dtype: string - name: seed_data dtype: string splits: - name: train num_bytes: 21250364074…