roberta-large FacebookAI

유형
model
태스크
fill-mask
프레임워크
transformers
다운로드
11,440,988
좋아요
319
접근
public
파일
0

태그

  • 마스크 언어모델
  • NLP
  • 딥러닝
  • transformers
  • 대규모 언어 모델
  • 파인튜닝

요약

RoBERTa large는 MLM(마스크 언어 모델링) 목적함수로 영어 대규모 말뭉치(160GB)를 사전학습한 트랜스포머 모델입니다. 문장의 양방향 표현을 학습하여 시퀀스 분류, 토큰 분류, 질문응답 등 다운스트림 태스크에 파인튜닝되도록 설계되었습니다. 텍스트 생성보다는 문장 전체를 이해하고 판단하는 태스크에 적합합니다.

README

--- language: en tags: - exbert license: mit datasets: - bookcorpus - wikipedia --- # RoBERTa large model 마스크 언어 모델링(MLM) 목적을 사용하여 영어로 사전 학습된 모델입니다. 이 모델은 [이 논문](https://arxiv.org/abs/1907.11692)에서 소개되었고, [이 저장소](https://github.com/pytorch/fairseq/tree/master/examples/roberta)에서 처음 공개되었습니다. 이 모델은 대…

查看完整页面 · 查看原文