electra-base-discriminator google
- 種別
- model
- フレームワーク
- transformers
- ダウンロード
- 56,262,567
- いいね
- 153
- アクセス
- public
- ファイル
- 0
タグ
- NLP
- テキスト分類
- 質問応答
- 機械学習
- transformers
- 事前学習
- テキスト埋め込み
概要
ELECTRAは自己教師あり言語表現学習の新手法で、GANの弁別器のように本物と偽のトークンを判別するよう学習するテキストエンコーダーです。少ない計算コストで高い性能を達成し、単一GPUでも学習可能です。GLUE分類、SQuADなどのQA、系列タグ付けなど様々な下流タスクにファインチューニングが可能です。
README
--- language: en thumbnail: https://huggingface.co/front/thumbnails/google.png license: apache-2.0 --- ## ELECTRA: 生成器ではなく識別器としてテキストエンコーダを事前学習する **ELECTRA**は、自己教師あり言語表現学習の新しい手法です。比較的少ない計算リソースでTransformerネットワークを事前学習するために使用できます。ELECTRAモデルは、[GAN](https://arxiv.org/pdf/1406.2661.pdf)の識別器と同様に、別のニューラルネット…