UltraFeedback openbmb
Introduction GitHub Repo UltraRM-13b UltraCM-13b UltraFeedback is a large-scale, fine-grained, diverse preference dataset, used for training powerful reward models and critic models. We collect about 64k prompts from diverse resources (including UltraChat, ShareGPT, Evol-Instruct, TruthfulQA, FalseQA, and FLAN). We then use these prompts to query multiple LLMs (see Table for model lists) and generate 4 different responses for each prompt, resulting in a total of 256k samples. To… See the full description on the dataset page: https://huggingface.co/datasets/openbmb/UltraFeedback.
- Tipo
- dataset
- Licencia
- mit
- Lenguaje
- en
- Descargas
- 5,838
- Me gusta
- 432
- Acceso
- public
- Archivos
- 0
Etiquetas
- retroalimentación humana
- dataset de instrucciones
- LLM
- evaluación de modelos
- prompting
- NLP
- RLHF
Resumen
UltraFeedback es un dataset de preferencias a gran escala con 64k prompts y 256k respuestas (380k comentarios) usadas para entrenar modelos de recompensa (RM) y modelos críticos en RLHF. Incluye anotaciones detalladas de GPT-4 en cuatro dimensiones: seguimiento de instrucciones, veracidad, honestid…
README
--- license: mit task_categories: - text-generation language: - en size_categories: - 100K<n<1M --- ## Introducción - [Repositorio de GitHub](https://github.com/thunlp/UltraFeedback) - [UltraRM-13b](https://huggingface.co/openbmb/UltraRM-13b) - [UltraCM-13b](https://huggingface.co/openbmb/UltraCM-1…