NatureBench JoeLiu996
Dataset Card for NatureBench NatureBench is a cross-discipline benchmark of 27 tasks distilled from peer-reviewed Nature-family publications, spanning 6 scientific domains. It is designed to evaluate whether AI coding agents can move beyond reproduction toward discovery: each task asks an agent to solve a real scientific machine-learning problem and is scored against the source paper's reported state of the art. 📄 arXiv paper: https://arxiv.org/abs/2606.24530 💻 GitHub code… See the full description on the dataset page: https://huggingface.co/datasets/JoeLiu996/NatureBench.
- Tipo
- dataset
- Licencia
- other
- Lenguaje
- en
- Descargas
- 255,741
- Me gusta
- 0
- Acceso
- public
- Archivos
- 0
Etiquetas
- Benchmark
- Evaluación de modelos
- agente
- razonamiento
- aprendizaje profundo
- Generación de código
- Tabla de clasificación
- código fuente
Resumen
NatureBench es un benchmark interdisciplinario de 27 tareas extraídas de publicaciones de la familia Nature, que abarca seis dominios científicos. Evalúa si los agentes de codificación de IA pueden resolver problemas reales de aprendizaje automático científico y superar la reproducción hacia el des…
README
--- language: - en license: other license_name: mit-with-third-party-data license_link: LICENSE pretty_name: NatureBench size_categories: - n<1K tags: - coding-agents - benchmark - scientific-machine-learning - nature configs: - config_name: default data_files: - split: train path: manifest.jsonl -…