Soup MakazhanAlpamys

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

主要语言
Python
Stars
1,684
Forks
262

标签

  • CLI工具
  • LLM微调
  • 本地部署
  • 深度学习
  • Python

摘要

Soup 是一个用单条命令微调大语言模型的 CLI 工具，以单一 YAML 配置解决 LLM 微调中 SSH 与配置繁琐的基础设施痛点。其核心创新是层流式训练（layer streaming），让 8B 模型在 4GB 显存笔记本 GPU 上即可完成 QLoRA 微调，并支持自动批大小、量化检测、DPO/ORPO 偏好对齐及 soup ship 评测门禁。适用于在本地 GPU 或免费 Colab T4 上快速微调与后训练开源模型的研究者和开发者。

README

<p align="center"> <img src="soup.png" alt="Soup" width="280"> </p> <h1 align="center">Soup</h1> <p align="center"> <strong>一条命令即可微调并对 LLM 进行后训练。无需 SSH，告别配置地狱。</strong> </p> <p align="center"> <a href="https://trysoup.dev">网站</a> &middot; <a href="#快速开始">快速开始</a> &middot; <a href="#配置">配置</a> &midd…

查看完整页面