electra-base-discriminator google
- 유형
- model
- 프레임워크
- transformers
- 다운로드
- 56,262,567
- 좋아요
- 153
- 접근
- public
- 파일
- 0
태그
- 마스크 언어모델
- 텍스트 분류
- NLP
- transformers
- 사전학습
- 파인튜닝
- 질문응답
- 딥러닝
요약
ELECTRA는 GAN의 판별기(discriminator) 방식으로 실제 입력 토큰과 다른 네트워크가 생성한 가짜 토큰을 구분하도록 학습하는 자기지도 언어표현 모델입니다. 적은 컴퓨팅 자원으로 효율적 사전학습이 가능하며, 분류, QA, 시퀀스 태깅 등 하위 다운스트림 태스크에 파인튜닝할 수 있습니다. transformers 라이브러리에서 바로 사용 가능합니다.
README
--- language: en thumbnail: https://huggingface.co/front/thumbnails/google.png license: apache-2.0 --- ## ELECTRA: 생성기보다 판별기로 텍스트 인코더를 사전 학습하기 **ELECTRA**는 자기 지도 언어 표현 학습의 새로운 방법입니다. 비교적 적은 컴퓨팅 자원으로 트랜스포머 네트워크를 사전 학습하는 데 사용할 수 있습니다. ELECTRA 모델은 [GAN](https://arxiv.org/pdf/1406.2661.pdf)의 판별기와 유사하게,…