xlm-roberta-large FacebookAI
- 유형
- model
- 태스크
- fill-mask
- 프레임워크
- transformers
- 다운로드
- 6,271,963
- 좋아요
- 525
- 접근
- public
- 파일
- 0
태그
- 마스크 언어모델
- 다국어
- NLP
- 파운데이션 모델
- transformers
- 파인튜닝
요약
XLM-RoBERTa large는 2.5TB의 CommonCrawl 데이터로 100개 언어를 사전학습한 다국어 마스크 언어모델입니다. MLM 목적함수로 양방향 표현을 학습해 문장 분류, 토큰 분류, 질문응답 등 다운스트림 태스크에 파인튜닝해 활용할 수 있으며, 마스크된 단어 예측(fill-mask)을 기본 태스크로 지원합니다. 다국어 맥락의 이해가 필요한 NLP 작업 전반에 적합한 파운데이션 모델입니다.
README
--- tags: - exbert language: - multilingual - af - am - ar - as - az - be - bg - bn - br - bs - ca - cs - cy - da - de - el - en - eo - es - et - eu - fa - fi - fr - fy - ga - gd - gl - gu - ha - he - hi - hr - hu - hy - id - is - it - ja - jv - ka - kk - km - kn - ko - ku - ky - la - lo - lt - lv …