UltraFeedback openbmb

Introduction GitHub Repo UltraRM-13b UltraCM-13b UltraFeedback is a large-scale, fine-grained, diverse preference dataset, used for training powerful reward models and critic models. We collect about 64k prompts from diverse resources (including UltraChat, ShareGPT, Evol-Instruct, TruthfulQA, FalseQA, and FLAN). We then use these prompts to query multiple LLMs (see Table for model lists) and generate 4 different responses for each prompt, resulting in a total of 256k samples. To… See the full description on the dataset page: https://huggingface.co/datasets/openbmb/UltraFeedback.

種別
dataset
ライセンス
mit
言語
en
ダウンロード
5,838
いいね
432
アクセス
public
ファイル
0

タグ

  • 強化学習
  • RLHF
  • 評価データ
  • 選好データ
  • テキスト生成
  • 対話データ
  • 合成データ
  • 大規模言語モデル

概要

UltraFeedbackは、報酬モデルや批判モデルの訓練に使う大規模・高密度な選好データセットです。約64kのプロンプトから17種類のLLMを用いて応答を生成し、合計256kサンプルと380kの高品質フィードバックを提供します。指示追従・真実性・誠実性・有用性の4側面についてGPT-4によるきめ細かな数値・テキスト評価を付与し、RLHF研究に約100万の比較ペアを構築可能です。

README

--- license: mit task_categories: - text-generation language: - en size_categories: - 100K<n<1M --- ## はじめに - [GitHubリポジトリ](https://github.com/thunlp/UltraFeedback) - [UltraRM-13b](https://huggingface.co/openbmb/UltraRM-13b) - [UltraCM-13b](https://huggingface.co/openbmb/UltraCM-13b) UltraFeedbackは…

查看完整页面 · 查看原文