mbpp google-research-datasets
Dataset Card for Mostly Basic Python Problems (mbpp) Dataset Summary The benchmark consists of around 1,000 crowd-sourced Python programming problems, designed to be solvable by entry level programmers, covering programming fundamentals, standard library functionality, and so on. Each problem consists of a task description, code solution and 3 automated test cases. As described in the paper, a subset of the data has been hand-verified by us. Released here as part of… See the full description on the dataset page: https://huggingface.co/datasets/google-research-datasets/mbpp.
- Typ
- dataset
- Lizenz
- cc-by-4.0
- Sprache
- en
- Downloads
- 243,239
- Likes
- 235
- Zugriff
- public
- Dateien
- 0
Tags
- Python
- Code-Daten
- Codegenerierung
- Benchmark
- Textgenerierung
- Bewertungsdaten
- Große Sprachmodelle
- Textdatensatz
Zusammenfassung
MBPP ist ein Benchmark-Datensatz mit etwa 1.000 Crowdsource-Python-Programmieraufgaben, die von Einstiegsprogrammierern gelöst werden können. Jede Aufgabe enthält eine Beschreibung, eine Codelösung und drei automatisierte Testfälle. Das Dataset dient zur Evaluation von Codegenerierungsmodellen groß…
README
--- annotations_creators: - crowdsourced - expert-generated language_creators: - crowdsourced - expert-generated language: - en license: - cc-by-4.0 multilinguality: - monolingual size_categories: - n<1K source_datasets: - original task_categories: - text2text-generation task_ids: [] pretty_name: M…