MMMLU openai
Multilingual Massive Multitask Language Understanding (MMMLU) The MMLU is a widely recognized benchmark of general knowledge attained by AI models. It covers a broad range of topics from 57 different categories, covering elementary-level knowledge up to advanced professional subjects like law, physics, history, and computer science. We translated the MMLU’s test set into 14 languages using professional human translators. Relying on human translators for this evaluation increases… See the full description on the dataset page: https://huggingface.co/datasets/openai/MMMLU.
- 種別
- dataset
- ライセンス
- mit
- 言語
- ar
- ダウンロード
- 11,123
- いいね
- 523
- アクセス
- public
- ファイル
- 0
タグ
- 評価データ
- 多言語データセット
- ベンチマーク
- 多肢選択
- 質問応答
- 多言語
- 大規模言語モデル
- テキストデータセット
概要
OpenAIがMMLUのテストセットを14言語（アラビア語やヨルバ語などの低リソース言語を含む）へ専門の人間翻訳者により翻訳した多言語評価データセットです。57カテゴリの一般知識を多肢選択形式で測り、AIモデルの多言語理解能力を公平に評価できます。各言語ロケールごとに分割されたCSVファイルが提供され、多言語モデルのベンチマーク評価や研究に適しています。
README
--- task_categories: - question-answering configs: - config_name: default data_files: - split: test path: test/*.csv - config_name: AR_XY data_files: - split: test path: test/mmlu_AR-XY.csv - config_name: BN_BD data_files: - split: test path: test/mmlu_BN-BD.csv - config_name: DE_DE data_files: - s…