Soup MakazhanAlpamys

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.

主要言語
Python
Stars
1,684
Forks
262

タグ

  • CLIツール
  • ディープラーニング
  • ローカルAI
  • 省メモリ
  • AIワークフロー

概要

YAML設定1枚と1コマンドでLLMのファインチューニングを実現するCLIツール。レイヤーストリーミング技術で凍結したベースモデルをVRAM外に置き、デコーダ層ごとにGPUへ供給することで、8Bクラスのモデルを4GB VRAMのノートPC GPUでも学習できる。QLoRA/NF4量子化やDPO/ORPO/SimPO/KTOなどの選好学習、評価ゲート（soup ship）も内蔵し、SSHやクラウド不要のローカル学習に特化している。

README

<p align="center"> <img src="soup.png" alt="Soup" width="280"> </p> <h1 align="center">Soup</h1> <p align="center"> <strong>LLMのファインチューニングとポストトレーニングを1コマンドで。SSH不要、設定地獄も不要。</strong> </p> <p align="center"> <a href="https://trysoup.dev">Webサイト</a> &middot; <a href="#quick-start">クイックスタート</a> &middot; …

查看完整页面