ModernBERT-base answerdotai
- 유형
- model
- 태스크
- fill-mask
- 프레임워크
- transformers
- 다운로드
- 5,618,765
- 좋아요
- 1,085
- 접근
- public
- 파일
- 0
태그
- 마스크 언어모델
- NLP
- 대형 언어 모델
- 텍스트 분류
- 파인튜닝
- transformers
- 벡터 검색
- 딥러닝
요약
ModernBERT는 RoPE, 로컬-글로벌 교대 어텐션, Flash Attention 등 최신 아키텍처를 적용해 최대 8,192 토큰의 기본 컨텍스트 길이를 지원하는 현대화된 양방향 인코더 전용 트랜스포머 모델입니다. 2조 토큰의 영어 및 코드 데이터로 사전학습되어 분류, 검색, 시맨틱 검색, 코드 검색 등 다양한 다운스트림 태스크에서 뛰어난 성능을 보입니다. 길어진 문서 처리, 벡터 검색, 코드 검색 등에 적합하며 마스크 언어모델(fill-mask) 파이프라인으로 사용하거나 미세조정이 가능합니다.
README
--- library_name: transformers license: apache-2.0 language: - en tags: - fill-mask - masked-lm - long-context - modernbert pipeline_tag: fill-mask inference: false --- # ModernBERT ## 모델 요약 ModernBERT는 영어 및 코드 데이터 2조 개의 토큰으로 사전 학습된 현대화된 양방향 인코더 전용 Transformer 모델(BERT 스타일)로, 기본 컨텍스트 길이는 최대 8,192개 토…