mdeberta-v3-base microsoft

種別
model
タスク
fill-mask
フレームワーク
transformers
ダウンロード
5,162,793
いいね
231
アクセス
public
ファイル
0

タグ

  • NLP
  • 多言語
  • マスク言語モデリング
  • テキスト分類
  • 特徴抽出
  • transformers
  • 基盤モデル
  • 大言語モデル

概要

マイクロソフト製の多言語DeBERTaV3ベースモデルで、ELECTRA式事前学習と勾配非結合型エンベディング共有により、XLM-Rを上回るNLU性能を発揮します。86Mのバックボーンと250Kトークンの語彙を持ち、16言語に対応し、ゼロショットの相互言語転移タスクに優れています。テキスト分類・特徴抽出・マスク言語モデリングなど幅広いNLPタスクへの適用が可能です。

README

--- language: - multilingual - en - ar - bg - de - el - es - fr - hi - ru - sw - th - tr - ur - vi - zh tags: - deberta - deberta-v3 - mdeberta - fill-mask thumbnail: https://huggingface.co/front/thumbnails/microsoft.png license: mit --- ## DeBERTaV3: 勾配分離型埋め込み共有を用いたELECTRAスタイル事前学習によるDeBERTaの改良 [De…

查看完整页面 · 查看原文