NatureBench JoeLiu996
Dataset Card for NatureBench NatureBench is a cross-discipline benchmark of 27 tasks distilled from peer-reviewed Nature-family publications, spanning 6 scientific domains. It is designed to evaluate whether AI coding agents can move beyond reproduction toward discovery: each task asks an agent to solve a real scientific machine-learning problem and is scored against the source paper's reported state of the art. 📄 arXiv paper: https://arxiv.org/abs/2606.24530 💻 GitHub code… See the full description on the dataset page: https://huggingface.co/datasets/JoeLiu996/NatureBench.
- 유형
- dataset
- 라이선스
- other
- 언어
- en
- 다운로드
- 255,741
- 좋아요
- 0
- 접근
- public
- 파일
- 0
태그
- 벤치마크
- 평가 데이터셋
- 코드 에이전트
- 에이전트
- 과학적 ML
- 모델 평가
요약
NatureBench는 Nature 계열 피어리뷰 논문에서 추출한 27개 과제로 구성된 학제 간 벤치마크로, AI 코딩 에이전트가 단순 재현을 넘어 과학적 발견으로 나아갈 수 있는지 평가합니다. 각 과제는 실제 과학적 머신러닝 문제를 풀도록 설계되었으며, 원본 논문이 보고한 SOTA 대비 상대적 격차로 채점됩니다. 웹 검색이 차단된 격리 컨테이너에서 에이전트를 평가하여 문제 설명과 데이터만으로 해결하도록 하며, 코드 에이전트의 과학적 발견 능력을 검증하는 데 적합합니다.
README
--- language: - en license: other license_name: mit-with-third-party-data license_link: LICENSE pretty_name: NatureBench size_categories: - n<1K tags: - coding-agents - benchmark - scientific-machine-learning - nature configs: - config_name: default data_files: - split: train path: manifest.jsonl -…