roberta-large FacebookAI

種別
model
タスク
fill-mask
フレームワーク
transformers
ダウンロード
11,440,988
いいね
319
アクセス
public
ファイル
0

タグ

  • 大言語モデル
  • テキスト分類
  • NLP
  • 深層学習
  • 変換器
  • 表現学習

概要

RoBERTa largeは英語テキストでマスク言語モデリング（MLM）目的で事前学習された大規模Transformerモデルです。大規模コーパス（約160GB）から双方向の言語表現を学習しており、系列分類・トークン分類・質問応答など下流タスクへのファインチューニングを主目的とします。特徴抽出にも利用でき、各タスク向けに微調整した派生モデルの基盤として広く活用されます。

README

--- language: en tags: - exbert license: mit datasets: - bookcorpus - wikipedia --- # RoBERTa large モデル マスク言語モデリング（MLM）目的を使用して英語で事前学習されたモデルです。このモデルは [この論文](https://arxiv.org/abs/1907.11692)で紹介され、最初に [このリポジトリ](https://github.com/pytorch/fairseq/tree/master/examples/roberta)で公開されました。このモデルは大文字と小文字を区別し…

查看完整页面 · 查看原文