gemma-4-12B-coder-fable5-composer2.5-v1-GGUF yuxinlu1

类型
model
任务
text-generation
框架
gguf
下载量
376,960
点赞
2,832
访问
public
文件
0

标签

  • 代码生成
  • 文本生成
  • 大语言模型
  • 本地部署
  • GGUF
  • 量化
  • 蒸馏
  • 推理部署

摘要

这是对Gemma 4 12B进行代码微调并转为GGUF格式的本地部署模型，通过Composer 2.5与Fable 5两套思维链数据蒸馏，专注可验证的Python/算法编程任务，先推理再输出可运行代码。模型提供多档量化版本（Q2_K至Q8_0），最低约4.5GB显存即可运行，支持256K上下文，可在llama.cpp、LM Studio、Ollama等离线运行。适用于本地私有代码助手、算法解题与调试等场景。

README

--- license: apache-2.0 base_model: google/gemma-4-12B-it library_name: gguf pipeline_tag: text-generation tags: [gemma4, coding, code, reasoning, thinking, gguf, llama.cpp, local-llm] --- # 💻 Gemma4-12B-Coder (GGUF) — Composer 2.5 × Fable 5 ✨ ### 🐣 小身材，大智慧——一款适合*所有人*的本地**编程**模型 > **无论你的 GPU 如何。无…

查看完整页面 · 查看原文