mmlu cais
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.
- 유형
- dataset
- 라이선스
- mit
- 언어
- en
- 다운로드
- 481,769
- 좋아요
- 812
- 접근
- public
- 파일
- 0
태그
- 평가 데이터셋
- 질문응답
- 벤치마크
- 모델 평가
- 대규모 언어 모델
- 텍스트 데이터셋
요약
MMLU는 대규모 다분야 언어 이해 능력을 측정하는 벤치마크 데이터셋으로, 인문학·사회과학·자연과학 등 57개 과목의 객관식 문제를 포함합니다. 다중 선택 질의응답(multiple-choice QA) 과업으로 구성되어 대형 언어 모델의 지식 폭과 추론 능력을 종합적으로 평가하는 데 사용됩니다. 모델 평가, 리더보드 비교, 벤치마크 실험에서 표준 지표로 널리 활용됩니다.
README
--- annotations_creators: - no-annotation language_creators: - expert-generated language: - en license: - mit multilinguality: - monolingual size_categories: - 10K<n<100K source_datasets: - original task_categories: - question-answering task_ids: - multiple-choice-qa paperswithcode_id: mmlu pretty_…