HelpSteer2 nvidia
HelpSteer2: Open-source dataset for training top-performing reward models HelpSteer2 is an open-source Helpfulness Dataset (CC-BY-4.0) that supports aligning models to become more helpful, factually correct and coherent, while being adjustable in terms of the complexity and verbosity of its responses. This dataset has been created in partnership with Scale AI. When used to tune a Llama 3.1 70B Instruct Model, we achieve 94.1% on RewardBench, which makes it the best Reward Model as… See the full description on the dataset page: https://huggingface.co/datasets/nvidia/HelpSteer2.
- 種別
- dataset
- ライセンス
- cc-by-4.0
- 言語
- en
- ダウンロード
- 47,653
- いいね
- 454
- アクセス
- public
- ファイル
- 0
タグ
- 選好データ
- 強化学習
- RLHF
- 人間フィードバック
- 評価ランキング
- テキストデータ
- 指示微調整
- 大言語モデル
概要
HelpSteer2はNVIDIAが公開したCC-BY-4.0ライセンスの英語データセットで、報酬モデルやRLHFによるモデル整合に用いられます。各応答に有用性・正確性・一貫性・複雑性・冗長性の5属性の人間評価（0〜4点）が付与されており、SteerLM回帰RMやDPO用の選好ペア訓練が可能です。Llama 3.1 70Bと組み合わせてRewardBenchで94.1%を達成し、トップクラスの報酬モデル訓練を実現します。
README
--- license: cc-by-4.0 language: - en pretty_name: HelpSteer2 size_categories: - 10K<n<100K tags: - human-feedback --- # HelpSteer2：トップクラスの報酬モデルを訓練するためのオープンソースデータセット HelpSteer2は、モデルがより役立ち、事実に基づき、一貫性のある応答を生成できるように調整し、その応答の複雑さと冗長性を調整可能にする、オープンソースの有用性（Helpfulness）データセット（CC-BY-4.0）です。 このデータセットは、[Scale …