Bonsai-demo PrismML-Eng

태그

• 템플릿/스캐폴드
• 경량 AI 모델
• 양자화
• 로컬 배포
• 도구 호출
• 멀티모달

요약

Bonsai는 1비트·3진(ternary) 양자화로 초경량화된 LLM 제품군으로, 이 저장소는 이를 Mac(Metal)·Linux/Windows(CUDA, Vulkan, ROCm)·CPU에서 llama.cpp·MLX로 로컬 실행하기 위한 셸 스크립트 기반 데모입니다. Bonsai 27B는 비전-언어 모델로 이미지/PDF 질의, OpenAI 스타일 도구 호출, MCP 서버 연동, 추론(reasoning) 모드를 지원하며 256k+ 장문 맥락을 처리합니다. 1비트 모델은 1.1비트 수준의 가중치 압축으로 스마트폰에도 수용되는 초소형 …

README

# Bonsai Demo <p align="center"> <img src="./assets/bonsai-logo.svg" width="280" alt="Bonsai"> </p> <p align="center"> <a href="https://prismml.com"><b>웹사이트</b></a> &nbsp;|&nbsp; <a href="https://github.com/PrismML-Eng/Bonsai-demo"><b>GitHub</b></a> &nbsp;|&nbsp; <a href="https://discord.gg/prismml…