OpenHermes-2.5 teknium
Dataset Card for Dataset Name This is the dataset that made OpenHermes 2.5 and Nous Hermes 2 series of models. Support me on GitHub sponsors <3 : https://github.com/sponsors/teknium1 Dataset Details Dataset Description The Open Hermes 2/2.5 and Nous Hermes 2 models have made significant advancements of SOTA LLM's over recent months, and are underpinned by this exact compilation and curation of many open source datasets and custom created synthetic… See the full description on the dataset page: https://huggingface.co/datasets/teknium/OpenHermes-2.5.
- 类型
- dataset
- 语言
- eng
- 下载量
- 17,487
- 点赞
- 891
- 访问
- public
- 文件
- 0
标签
- 指令微调
- 对话数据
- 合成数据
- 大语言模型
- 文本生成
- 蒸馏
- 预训练语料
- 多任务
摘要
OpenHermes 2.5 是一个约百万量级、以合成数据为主的指令微调数据集，通过整合Airoboros、CamelAI、SlimOrca、ShareGPT、MetaMath等众多开源数据集并利用GPT-4进行蒸馏和编排而成。该数据集是OpenHermes 2.5与Nous Hermes 2系列大语言模型的基础底座，覆盖问答、数学推理、代码生成、医学等多领域通用任务。适用于训练通用的对话式助手大模型，也可用于LoRA微调与指令跟随能力的偏好对齐。
README
--- language: - eng pretty_name: OpenHermes 2.5 tags: - synthetic - GPT-4 - Distillation - Compilation ---  # 数据集卡片：数据集名称 该数据集是 OpenHermes 2.5 和 Nous Hermes 2 系列模型所依托的数据集。 请在 GitHub…