cosmopedia HuggingFaceTB
Cosmopedia v0.1 Image generated by DALL-E, the prompt was generated by Mixtral-8x7B-Instruct-v0.1 Note: Cosmopedia v0.2 is available at smollm-corpus User: What do you think "Cosmopedia" could mean? Hint: in our case it's not related to cosmology. Mixtral-8x7B-Instruct-v0.1: A possible meaning for "Cosmopedia" could be an encyclopedia or collection of information about different cultures, societies, and topics from around the world, emphasizing diversity and global… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceTB/cosmopedia.
- 種別
- dataset
- ライセンス
- apache-2.0
- 言語
- en
- ダウンロード
- 22,274
- いいね
- 740
- アクセス
- public
- ファイル
- 0
タグ
- 合成データ
- 事前学習コーパス
- テキストデータ
- 大規模データセット
- 英語コーパス
- 生成AI
- 大言語モデル
- Apache-2.0
概要
Cosmopediaは、Mixtral-8x7B-Instruct-v0.1で生成された世界最大級のオープン合成テキストデータセットです。教科書、ブログ記事、ストーリー、WikiHow記事など3000万ファイル・250億トークンからなり、Webや教育リソース（Stanford、OpenStax、KhanAcademy）の知識を合成コンテンツとして網羅的にカバーします。小規模言語モデルの事前学習データとして利用でき、v0.2はsmollm-corpusに公開されています。
README
--- dataset_info: - config_name: auto_math_text features: - name: prompt dtype: string - name: text_token_length dtype: int64 - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string splits: - name: train num_bytes: 8777587297.907892 num…