Bonsai-demo PrismML-Eng

标签

• 教程/资源
• 本地部署
• 工具调用
• 多模态
• CLI工具

摘要

Bonsai-demo 是 PrismML 提供的本地部署演示仓库，用于在 Mac、Linux、Windows 或纯 CPU 环境中运行 Bonsai 系列超低比特量化大语言模型（1-bit 和三值量化）。该项目解决了大模型对硬件资源要求高的问题，通过极致压缩（最低约1.125位/权重）使 27B 参数模型甚至可在 iPhone 上运行。核心功能包括视觉语言理解（图片/PDF）、工具调用（OpenAI 兼容）、长上下文（256k+ token）以及推理模式，适合希望在消费级设备上本地运行高质量大模型的开发者和研究者。

README

# Bonsai 演示 <p align="center"> <img src="./assets/bonsai-logo.svg" width="280" alt="Bonsai"> </p> <p align="center"> <a href="https://prismml.com"><b>官网</b></a> &nbsp;|&nbsp; <a href="https://github.com/PrismML-Eng/Bonsai-demo"><b>GitHub</b></a> &nbsp;|&nbsp; <a href="https://discord.gg/prismml"><b…