mdeberta-v3-base microsoft

类型
model
任务
fill-mask
框架
transformers
下载量
5,162,793
点赞
231
访问
public
文件
0

标签

  • 文本分类
  • 预训练
  • 多语言
  • NLP
  • transformers
  • 深度学习
  • 文本嵌入

摘要

该模型是多语言版 DeBERTa V3，基于 ELECTRA 风格预训练和梯度解耦嵌入共享，相比 XLM-R 在多语自然语言理解（如 XNLI 零样本跨语言迁移）上表现更优。它使用 CC100 多语言数据训练，支持英语、中文、阿拉伯语等十余种语言，适合用于文本分类、问答等 NLU 下游任务的微调。模型包含 12 层、768 隐藏维度，适合作为多语言文本编码器的骨干网络。

README

--- language: - multilingual - en - ar - bg - de - el - es - fr - hi - ru - sw - th - tr - ur - vi - zh tags: - deberta - deberta-v3 - mdeberta - fill-mask thumbnail: https://huggingface.co/front/thumbnails/microsoft.png license: mit --- ## DeBERTaV3：使用梯度解耦嵌入共享的 ELECTRA 风格预训练改进 DeBERTa [DeBERTa](ht…

查看完整页面 · 查看原文