distilbert-base-uncased distilbert
- Tipo
- model
- Tarea
- fill-mask
- Framework
- transformers
- Descargas
- 7,996,848
- Me gusta
- 931
- Acceso
- public
- Archivos
- 0
Etiquetas
- relleno de máscara
- NLP
- modelo de lenguaje
- preentrenamiento
- transformers
- aprendizaje profundo
- destilación
Resumen
DistilBERT es una versión destilada del modelo BERT base, más pequeña y rápida, preentrenada de forma autosupervisada sobre BookCorpus y Wikipedia usando BERT como maestro. Resuelve el problema del alto coste de inferencia de BERT manteniendo un 97% de su rendimiento. Está diseñado principalmente p…
README
--- language: en tags: - exbert license: apache-2.0 datasets: - bookcorpus - wikipedia --- # Modelo base DistilBERT (sin diferenciar mayúsculas) Este modelo es una versión destilada del [modelo base BERT](https://huggingface.co/bert-base-uncased). Fue introducido en [este artículo](https://arxiv.or…