mmlu cais
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.
- 種別
- dataset
- ライセンス
- mit
- 言語
- en
- ダウンロード
- 481,769
- いいね
- 812
- アクセス
- public
- ファイル
- 0
タグ
- 評価データ
- 質問応答
- 大規模言語モデル
- 英語テキストデータ
- モデル評価
- NLP
- 多肢選択
- 数学
概要
MMLUは人文・社会科学・理科など57分野の多肢選択問題で構成される大規模マルチタスク言語理解ベンチマークです。大規模言語モデルの幅広い知識と推論能力を評価する目的で設計され、世界中のLLM評価で標準的な指標として広く使われています。モデル性能比較や研究評価の基準として、学术界・産業界の双方で活用されています。
README
--- annotations_creators: - no-annotation language_creators: - expert-generated language: - en license: - mit multilinguality: - monolingual size_categories: - 10K<n<100K source_datasets: - original task_categories: - question-answering task_ids: - multiple-choice-qa paperswithcode_id: mmlu pretty_…