NatureBench JoeLiu996
Dataset Card for NatureBench NatureBench is a cross-discipline benchmark of 27 tasks distilled from peer-reviewed Nature-family publications, spanning 6 scientific domains. It is designed to evaluate whether AI coding agents can move beyond reproduction toward discovery: each task asks an agent to solve a real scientific machine-learning problem and is scored against the source paper's reported state of the art. 📄 arXiv paper: https://arxiv.org/abs/2606.24530 💻 GitHub code… See the full description on the dataset page: https://huggingface.co/datasets/JoeLiu996/NatureBench.
- Typ
- dataset
- Lizenz
- other
- Sprache
- en
- Downloads
- 255,741
- Likes
- 0
- Zugriff
- public
- Dateien
- 0
Tags
- 评测基准
- 代码数据集
- Agent
- 机器学习
- 科学机器学习
- 基准测试
- 代码生成
Zusammenfassung
NatureBench ist ein datenwissenschaftlicher Benchmark über 27 Aufgaben aus sechs Wissenschaftsdomänen, die aus Nature-Fachpublikationen destilliert wurden. Er bewertet, ob KI-Coding-Agenten reale wissenschaftliche Machine-Learning-Probleme lösen können und vergleicht die Ergebnisse mit dem veröffen…
README
--- language: - en license: other license_name: mit-with-third-party-data license_link: LICENSE pretty_name: NatureBench size_categories: - n<1K tags: - coding-agents - benchmark - scientific-machine-learning - nature configs: - config_name: default data_files: - split: train path: manifest.jsonl -…