xlm-roberta-base FacebookAI
- 类型
- model
- 任务
- fill-mask
- 框架
- transformers
- 下载量
- 18,110,036
- 点赞
- 882
- 访问
- public
- 文件
- 0
标签
- 文本生成
- 文本分类
- 文本嵌入
- 问答
- 多语言
- NLP
- transformers
- 预训练语料
摘要
XLM-RoBERTa-base 是一个在2.5TB过滤后的CommonCrawl数据上预训练的多语言版RoBERTa，覆盖100种语言，采用掩码语言建模目标学习双向句子表示。该模型主要用于微调后的下游任务，如序列分类、词元分类和问答，也适合提取跨语言特征。由于是双向编码模型，不适合文本生成任务。
README
--- tags: - exbert language: - multilingual - af - am - ar - as - az - be - bg - bn - br - bs - ca - cs - cy - da - de - el - en - eo - es - et - eu - fa - fi - fr - fy - ga - gd - gl - gu - ha - he - hi - hr - hu - hy - id - is - it - ja - jv - ka - kk - km - kn - ko - ku - ky - la - lo - lt - lv …