mbpp google-research-datasets
Dataset Card for Mostly Basic Python Problems (mbpp) Dataset Summary The benchmark consists of around 1,000 crowd-sourced Python programming problems, designed to be solvable by entry level programmers, covering programming fundamentals, standard library functionality, and so on. Each problem consists of a task description, code solution and 3 automated test cases. As described in the paper, a subset of the data has been hand-verified by us. Released here as part of… See the full description on the dataset page: https://huggingface.co/datasets/google-research-datasets/mbpp.
- 유형
- dataset
- 라이선스
- cc-by-4.0
- 언어
- en
- 다운로드
- 243,239
- 좋아요
- 235
- 접근
- public
- 파일
- 0
태그
- 코드 데이터셋
- 평가 데이터셋
- 코드 생성
- 벤치마크
- 파이썬
- NLP
요약
Google Research의 MBPP(Mostly Basic Python Problems) 데이터셋은 초보 프로그래머가 해결 가능한 약 1,000개의 파이썬 프로그래밍 문제를 담은 코드 생성 평가 벤치마크입니다. 각 문제는 작업 설명, 코드 솔루션, 3개의 자동 테스트 케이스로 구성되어 있습니다. 대규모 언어 모델의 코드 생성 능력을 평가하는 데 사용되며, few-shot 프롬프트용 prompt 스플릿과 보다 엄격한 평가를 위한 challenge 테스트를 포함합니다.
README
--- annotations_creators: - crowdsourced - expert-generated language_creators: - crowdsourced - expert-generated language: - en license: - cc-by-4.0 multilinguality: - monolingual size_categories: - n<1K source_datasets: - original task_categories: - text2text-generation task_ids: [] pretty_name: M…