Bonsai-demo PrismML-Eng

タグ

• ローカルAI
• ツール呼び出し
• コンテキストプロトコルMCP
• マルチモーダル
• 省メモリ
• CLIツール
• 事前学習済みモデル

概要

量子化された軽量LLM「Bonsai」をMac(Metal)・Linux/Windows(CUDA/Vulkan/ROCm)・CPU上でローカル実行できるデモリポジトリ。27B/8B/4B/1.7BのサイズをGGUF(llama.cpp)とMLX形式で提供する。27Bは画像入力対応の視覚言語モデルで、256k+の長文脈、推論(thinking)、OpenAI形式のツール呼び出しとMCPサーバーを備える。セットアップスクリプト1つでモデル取得から起動まで完了し、省メモリなローカルAI検証やプライバシー重視のオンプレ利用に向く。

README

# Bonsai Demo <p align="center"> <img src="./assets/bonsai-logo.svg" width="280" alt="Bonsai"> </p> <p align="center"> <a href="https://prismml.com"><b>Website</b></a> &nbsp;|&nbsp; <a href="https://github.com/PrismML-Eng/Bonsai-demo"><b>GitHub</b></a> &nbsp;|&nbsp; <a href="https://discord.gg/pris…