smollm-corpus HuggingFaceTB
SmolLM-Corpus This dataset is a curated collection of high-quality educational and synthetic data designed for training small language models. You can find more details about the models trained on this dataset in our SmolLM blog post. Dataset subsets Cosmopedia v2 Cosmopedia v2 is an enhanced version of Cosmopedia, the largest synthetic dataset for pre-training, consisting of over 39 million textbooks, blog posts, and stories generated by… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus.
- 类型
- dataset
- 许可
- odc-by
- 语言
- en
- 下载量
- 46,086
- 点赞
- 481
- 访问
- public
- 文件
- 0
标签
- 预训练语料
- 合成数据
- 文本数据集
- 代码数据
- 大语言模型
- 教育数据
摘要
SmolLM-Corpus 是一个专为训练小型语言模型而精心策划的高质量数据集集合，包含三个子集：Cosmopedia v2（超3900万本教材、博客和故事组成的最大合成预训练数据）、FineWeb-Edu（去重后的2200亿tokens高质量教育网页）和 Python-Edu（教育评分筛选后的Python代码）。该数据集解决小型语言模型训练数据质量不足的问题，具备大规模、多类型内容覆盖与教育质量过滤能力，适用于SmolLM等轻量级模型的预训练阶段。
README
--- license: odc-by dataset_info: - config_name: cosmopedia-v2 features: - name: prompt dtype: string - name: text dtype: string - name: token_length dtype: int64 - name: audience dtype: string - name: format dtype: string - name: seed_data dtype: string splits: - name: train num_bytes: 21250364074…