smollm-corpus HuggingFaceTB
SmolLM-Corpus This dataset is a curated collection of high-quality educational and synthetic data designed for training small language models. You can find more details about the models trained on this dataset in our SmolLM blog post. Dataset subsets Cosmopedia v2 Cosmopedia v2 is an enhanced version of Cosmopedia, the largest synthetic dataset for pre-training, consisting of over 39 million textbooks, blog posts, and stories generated by… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus.
- 種別
- dataset
- ライセンス
- odc-by
- 言語
- en
- ダウンロード
- 46,086
- いいね
- 481
- アクセス
- public
- ファイル
- 0
タグ
- 事前学習コーパス
- テキストデータ
- 合成データ
- 英語コーパス
- コードデータ
- 大規模データセット
- NLP
- データセット
概要
SmolLM-Corpusは、小型言語モデルの事前学習向けに厳選された高品質な教育・合成データセットです。Cosmopedia v2（3900万件超の合成教科書・ブログ）、FineWeb-Edu・Dedup（2200億トークンの教育ウェブページ）、Python-Edu（教育用Pythonコード）の3つのサブセットで構成されています。SmolLMシリーズの学習に使用され、テキスト生成・コード生成などの小型モデル事前学習に適しています。
README
--- license: odc-by dataset_info: - config_name: cosmopedia-v2 features: - name: prompt dtype: string - name: text dtype: string - name: token_length dtype: int64 - name: audience dtype: string - name: format dtype: string - name: seed_data dtype: string splits: - name: train num_bytes: 21250364074…