ModernBERT-base answerdotai
- Tipo
- model
- Tarea
- fill-mask
- Framework
- transformers
- Descargas
- 5,618,765
- Me gusta
- 1,085
- Acceso
- public
- Archivos
- 0
Etiquetas
- relleno de máscara
- NLP
- preentrenamiento
- modelo de lenguaje
- transformers
- código fuente
- texto
- recuperación
Resumen
ModernBERT es un modelo codificador (encoder-only) estilo BERT modernizado, preentrenado en 2 billones de tokens de texto en inglés y código, con contexto nativo de hasta 8192 tokens. Incorpora mejoras arquitectónicas como RoPE, atención local-global y Flash Attention para un rendimiento eficiente …
README
--- library_name: transformers license: apache-2.0 language: - en tags: - fill-mask - masked-lm - long-context - modernbert pipeline_tag: fill-mask inference: false --- # ModernBERT ## Resumen del Modelo ModernBERT es un modelo Transformer modernizado, exclusivamente codificador y de tipo BERT, pre…