mbpp google-research-datasets
Dataset Card for Mostly Basic Python Problems (mbpp) Dataset Summary The benchmark consists of around 1,000 crowd-sourced Python programming problems, designed to be solvable by entry level programmers, covering programming fundamentals, standard library functionality, and so on. Each problem consists of a task description, code solution and 3 automated test cases. As described in the paper, a subset of the data has been hand-verified by us. Released here as part of… See the full description on the dataset page: https://huggingface.co/datasets/google-research-datasets/mbpp.
- 種別
- dataset
- ライセンス
- cc-by-4.0
- 言語
- en
- ダウンロード
- 243,239
- いいね
- 235
- アクセス
- public
- ファイル
- 0
タグ
- コード生成
- コードデータ
- 評価データ
- ベンチマーク
- データセット
- 英語コーパス
- Python
- テキストデータセット
概要
MBPP（Mostly Basic Python Problems）は、約1,000問のクラウドソーシングで作成されたPythonプログラミング問題で構成されたコード生成評価用ベンチマークです。各問題はタスク説明、解答コード、3つの自動テストケースを含み、初心者レベルのプログラマーが解けるよう設計されています。LLMのコード生成能力を評価するために広く利用され、few-shotプロンプト用のprompt分割も含まれます。fullとsanitizedの2つの構成を提供しています。
README
--- annotations_creators: - crowdsourced - expert-generated language_creators: - crowdsourced - expert-generated language: - en license: - cc-by-4.0 multilinguality: - monolingual size_categories: - n<1K source_datasets: - original task_categories: - text2text-generation task_ids: [] pretty_name: M…