wikitext Salesforce
Dataset Card for "wikitext" Dataset Summary The WikiText language modeling dataset is a collection of over 100 million tokens extracted from the set of verified Good and Featured articles on Wikipedia. The dataset is available under the Creative Commons Attribution-ShareAlike License. Compared to the preprocessed version of Penn Treebank (PTB), WikiText-2 is over 2 times larger and WikiText-103 is over 110 times larger. The WikiText dataset also features a far… See the full description on the dataset page: https://huggingface.co/datasets/Salesforce/wikitext.
- 種別
- dataset
- ライセンス
- cc-by-sa-3.0
- 言語
- en
- ダウンロード
- 1,498,204
- いいね
- 758
- アクセス
- public
- ファイル
- 0
タグ
- テキストデータ
- 英語語料
- 事前学習コーパス
- NLP
- 言語モデリング
- テキスト生成
- データセット
概要
WikiTextはWikipediaの良質・秀逸記事から抽出された1億トークン以上の英文言語モデリングデータセットです。PTBよりはるかに大きく語彙も豊富で、元の大文字・句読点・数字を保持しているため、長距離依存関係を扱う言語モデルの訓練・評価に適しています。WikiText-2とWikiText-103の2つの規模と、raw（文字単位）・非raw（単語単位）のバリエーションを提供します。
README
--- annotations_creators: - no-annotation language_creators: - crowdsourced language: - en license: - cc-by-sa-3.0 - gfdl multilinguality: - monolingual size_categories: - 1M<n<10M source_datasets: - original task_categories: - text-generation - fill-mask task_ids: - language-modeling - masked-lang…