distilbert-base-uncased distilbert
- Typ
- model
- Aufgabe
- fill-mask
- Framework
- transformers
- Downloads
- 7,996,848
- Likes
- 931
- Zugriff
- public
- Dateien
- 0
Tags
- Maskensprachmodellierung
- Textklassifikation
- Distillation
- Große Sprachmodelle
- Englische Modelle
- transformers
- Feinabstimmung
- NLP
Zusammenfassung
DistilBERT ist eine schneller und kleiner als BERT trainierte Transformers-Variante, die per Wissensdestillation die inneren Sprachrepräsentationen des Lehrermodells lernt. Es ist für Maskensprachmodellierung (Fill-Mask) sowie die Vorhersage des nächsten Satzes ausgelegt und eignet sich vor allem z…
README
--- language: en tags: - exbert license: apache-2.0 datasets: - bookcorpus - wikipedia --- # DistilBERT Basis-Modell (uncased) Dieses Modell ist eine destillierte Version des [BERT-Basis-Modells](https://huggingface.co/bert-base-uncased). Es wurde in [diesem Paper](https://arxiv.org/abs/1910.01108)…