distilbert-base-uncased distilbert

유형
model
태스크
fill-mask
프레임워크
transformers
다운로드
7,996,848
좋아요
931
접근
public
파일
0

태그

  • 마스크 언어모델
  • NLP
  • 증류
  • 파인튜닝
  • transformers
  • 사전학습

요약

DistilBERT는 BERT base 모델을 교사로 삼아 증류한 경량화된 트랜스포머 언어모델입니다. 마스크 언어모델링(MLM) 목적을 통해 영어의 양방향 문맥 표현을 학습하며, 추론 속도가 더 빠르고 크기가 작습니다. 주로 문장 분류, 토큰 분류, 질문응답 등 다운스트림 태스크에 파인튜닝되어 널리 활용됩니다.

README

--- language: en tags: - exbert license: apache-2.0 datasets: - bookcorpus - wikipedia --- # DistilBERT 기본 모델 (uncased) 이 모델은 [BERT 기본 모델](https://huggingface.co/bert-base-uncased)의 증류(distilled) 버전입니다. 이 모델은 [이 논문](https://arxiv.org/abs/1910.01108)에서 소개되었습니다. 증류 과정의 코드는 [여기](https://github.com/hug…

查看完整页面 · 查看原文