ModernBERT-base answerdotai

Typ
model
Aufgabe
fill-mask
Framework
transformers
Downloads
5,618,765
Likes
1,085
Zugriff
public
Dateien
0

Tags

  • 掩码语言建模
  • 大语言模型
  • 文本分类
  • 向量检索
  • English
  • Code
  • transformers
  • 微调

Zusammenfassung

ModernBERT ist ein modernisierter, bidirektionaler Encoder-only-Transformer im BERT-Stil, der auf 2 Billionen Token englischer Text- und Codedaten vortrainiert wurde und eine native Kontextlänge von bis zu 8.192 Token unterstützt. Er löst das Problem veralteter Kontextbeschränkungen von Standard-BE…

README

--- library_name: transformers license: apache-2.0 language: - en tags: - fill-mask - masked-lm - long-context - modernbert pipeline_tag: fill-mask inference: false --- # ModernBERT ## Modellübersicht ModernBERT ist ein modernisiertes, bidirektionales Encoder-Only-Transformer-Modell (BERT-Stil), da…

查看完整页面 · 查看原文