DeepSeek-V3 deepseek-ai

类型
model
任务
text-generation
框架
transformers
下载量
1,100,482
点赞
4,171
访问
public
文件
0

标签

  • 文本生成
  • 大语言模型
  • 混合专家
  • 蒸馏
  • 推理部署
  • 本地部署
  • transformers
  • 代码生成

摘要

DeepSeek-V3是一款总参数671B、每token激活37B的混合专家（MoE）大语言模型，采用多头潜在注意力（MLA）与DeepSeekMoE架构，并首创无辅助损失的负载均衡策略与多token预测训练目标。模型在14.8万亿token上预训练，经监督微调与强化学习后处理，并以知识蒸馏方式从DeepSeek-R1引入推理能力，性能超越多数开源模型、媲美领先闭源模型。适用于通用文本生成、推理问答、代码生成等场景，支持最高128K上下文长度与本地高效推理部署。

README

--- library_name: transformers --- <!-- markdownlint-disable first-line-h1 --> <!-- markdownlint-disable html --> <!-- markdownlint-disable no-duplicate-header --> <div align="center"> <img src="https://github.com/deepseek-ai/DeepSeek-V2/blob/main/figures/logo.svg?raw=true" width="60%" alt="DeepSee…

查看完整页面 · 查看原文