DeepSeek-V4-Pro deepseek-ai

类型
model
任务
text-generation
框架
transformers
下载量
1,313,358
点赞
5,444
访问
public
文件
0

标签

  • 文本生成
  • 大语言模型
  • 混合专家
  • 代码生成
  • Agent
  • 推理部署
  • transformers
  • 生成式AI

摘要

DeepSeek-V4-Pro是DeepSeek-V4系列旗舰大语言模型，采用混合专家（MoE）架构，总参数1.6T、激活参数49B，支持高达100万token的超长上下文。通过混合注意力机制（CSA+HCA）、流形约束超连接（mHC）与Muon优化器，在长上下文场景下显著降低推理计算量与KV缓存开销。该模型在知识、代码、数学与长文本理解等基准上表现领先，适用于复杂推理、代码生成与智能体任务等场景。

README

--- license: mit library_name: transformers --- # DeepSeek-V4：迈向高效百万 Token 上下文智能 <!-- markdownlint-disable first-line-h1 --> <!-- markdownlint-disable html --> <!-- markdownlint-disable no-duplicate-header --> <div align="center"> <img src="https://github.com/deepseek-ai/DeepSeek-V2/blob/main/figur…

查看完整页面 · 查看原文