ModernBERT-base answerdotai

種別
model
タスク
fill-mask
フレームワーク
transformers
ダウンロード
5,618,765
いいね
1,085
アクセス
public
ファイル
0

タグ

  • マスク言語モデリング
  • テキスト分類
  • テキスト埋め込み
  • 長コンテキスト
  • 大言語モデル
  • NLP
  • BERT
  • transformers

概要

ModernBERTは、RoPEやLocal-Global交互アテンション、Flash Attentionなど最新技術を導入して改良された双方向エンコーダー型Transformerモデルです。2兆トークンの英語とコードデータで事前学習され、最大8,192トークンのネイティブ長文脈をサポートします。検索、分類、セマンティック検索、コード検索などの下流タスクで従来のBERTを上回る高性能を発揮します。Apache-2.0ライセンスで公開されています。

README

--- library_name: transformers license: apache-2.0 language: - en tags: - fill-mask - masked-lm - long-context - modernbert pipeline_tag: fill-mask inference: false --- # ModernBERT ## モデル概要 ModernBERTは、英語とコードのデータ2兆トークンで事前学習された、現代的に改良された双方向エンコーダのみのTransformerモデル（BERTスタイル）であり、ネイティブのコンテキスト長は最大8,192トー…

查看完整页面 · 查看原文