mmlu cais
Dataset Card for MMLU Dataset Summary Measuring Massive Multitask Language Understanding by Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt (ICLR 2021). This is a massive multitask test consisting of multiple-choice questions from various branches of knowledge. The test spans subjects in the humanities, social sciences, hard sciences, and other areas that are important for some people to learn. This covers 57… See the full description on the dataset page: https://huggingface.co/datasets/cais/mmlu.
- Tipo
- dataset
- Licencia
- mit
- Lenguaje
- en
- Descargas
- 481,769
- Me gusta
- 812
- Acceso
- public
- Archivos
- 0
Etiquetas
- Evaluación de modelos
- Benchmark
- razonamiento
- NLP
- LLM
- preguntas de opción múltiple
Resumen
MMLU es un conjunto de datos de referencia ampliamente usado para medir la comprensión del lenguaje multitarea en modelos de lenguaje grandes. Consiste en más de 15.000 preguntas de opción múltiple que abarcan 57 materias de humanidades, ciencias sociales y ciencias exactas. Se utiliza principalmen…
README
--- annotations_creators: - no-annotation language_creators: - expert-generated language: - en license: - mit multilinguality: - monolingual size_categories: - 10K<n<100K source_datasets: - original task_categories: - question-answering task_ids: - multiple-choice-qa paperswithcode_id: mmlu pretty_…