TinyStories roneneldan
Dataset containing synthetically generated (by GPT-3.5 and GPT-4) short stories that only use a small vocabulary. Described in the following paper: https://arxiv.org/abs/2305.07759. The models referred to in the paper were trained on TinyStories-train.txt (the file tinystories-valid.txt can be used for validation loss). These models can be found on Huggingface, at roneneldan/TinyStories-1M/3M/8M/28M/33M/1Layer-21M. Additional resources: tinystories_all_data.tar.gz - contains a superset of… See the full description on the dataset page: https://huggingface.co/datasets/roneneldan/TinyStories.
- 種別
- dataset
- ライセンス
- cdla-sharing-1.0
- 言語
- en
- ダウンロード
- 94,684
- いいね
- 1,114
- アクセス
- public
- ファイル
- 0
タグ
- テキスト生成
- 事前学習コーパス
- 合成データ
- 英語テキストデータ
- データセット
- 大言語モデル
- NLP
概要
TinyStoriesはGPT-3.5/4で合成生成された、小さな語彙のみを使用した英語の短文ストーリーのデータセットです。主に大規模言語モデルが小さなデータで効率的に学習できるかを検証する研究用に設計され、小規模モデルのテキスト生成能力評価に適しています。論文（arXiv:2305.07759）と連携した言語モデリング研究、特に超小型言語モデルの学習・検証に広く利用されます。
README
--- license: cdla-sharing-1.0 task_categories: - text-generation language: - en --- ごく限られた語彙のみを使用する、合成生成（GPT-3.5およびGPT-4による）の短編小説を含むデータセット。 以下の論文で説明されています: https://arxiv.org/abs/2305.07759。 論文で言及されているモデルは、TinyStories-train.txt でトレーニングされました（ファイル tinystories-valid.txt は検証損失の計算に使用できます）。これらのモデルはHugging…