MMMLU openai
Multilingual Massive Multitask Language Understanding (MMMLU) The MMLU is a widely recognized benchmark of general knowledge attained by AI models. It covers a broad range of topics from 57 different categories, covering elementary-level knowledge up to advanced professional subjects like law, physics, history, and computer science. We translated the MMLU’s test set into 14 languages using professional human translators. Relying on human translators for this evaluation increases… See the full description on the dataset page: https://huggingface.co/datasets/openai/MMMLU.
- Typ
- dataset
- Lizenz
- mit
- Sprache
- ar
- Downloads
- 11,123
- Likes
- 523
- Zugriff
- public
- Dateien
- 0
Tags
- 评测基准
- 多语言语料
- 多语言模型
- NLP
- 大语言模型
- 问答
- 机器学习
Zusammenfassung
Dieses Dataset ist eine mehrsprachige Übersetzung des bekannten MMLU-Benchmarks in 14 Sprachen, erstellt mit professionellen menschlichen Übersetzern. Es dient zur Evaluierung des allgemeinen Wissens und der Multilingualität von KI-Modellen über 57 Fachkategorien, von Grundwissen bis zu fortgeschri…
README
--- task_categories: - question-answering configs: - config_name: default data_files: - split: test path: test/*.csv - config_name: AR_XY data_files: - split: test path: test/mmlu_AR-XY.csv - config_name: BN_BD data_files: - split: test path: test/mmlu_BN-BD.csv - config_name: DE_DE data_files: - s…