electra-base-discriminator google
- Typ
- model
- Framework
- transformers
- Downloads
- 56,262,567
- Likes
- 153
- Zugriff
- public
- Dateien
- 0
Tags
- Maskensprachmodellierung
- Textklassifikation
- Englisch
- Transformers
- Feinabstimmung
- Maschinelles Lernen
- Vortrainingskorpus
Zusammenfassung
ELECTRA ist ein selbstüberwachtes Sprachrepräsentationsmodell, das als Diskriminator trainiert wird, um echte von gefälschten Tokens zu unterscheiden (GAN-ähnlich). Es eignet sich hervorragend für effizientes Pre-Training von Transformer-Netzwerken mit geringem Rechenaufwand und erzielt State-of-th…
README
--- language: en thumbnail: https://huggingface.co/front/thumbnails/google.png license: apache-2.0 --- ## ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators **ELECTRA** ist eine neue Methode für selbstüberwachtes Lernen von Sprachrepräsentationen. Sie kann verwendet werden…