distilbert-base-uncased distilbert

类型
model
任务
fill-mask
框架
transformers
下载量
7,996,848
点赞
931
访问
public
文件
0

标签

  • 文本嵌入
  • NLP
  • 蒸馏
  • 预训练
  • transformers
  • 文本分类
  • 大语言模型

摘要

DistilBERT 是 BERT base 的蒸馏版本，体积更小、推理更快，通过以 BERT 为教师模型进行自监督预训练，在掩码语言建模、余弦嵌入等目标下学习相近的英语表征能力。该模型主要用于填充掩码（fill-mask）及各类下游任务微调，如序列分类、命名实体识别和问答，适合作为轻量级替代 BERT 的基础编码器。

README

--- language: en tags: - exbert license: apache-2.0 datasets: - bookcorpus - wikipedia --- # DistilBERT 基础模型（不区分大小写） 该模型是 [BERT 基础模型](https://huggingface.co/bert-base-uncased)的蒸馏版本。它是在[这篇论文](https://arxiv.org/abs/1910.01108)中提出的。蒸馏过程的代码可以在[这里](https://github.com/huggingface/transformers/tree/main/e…

查看完整页面 · 查看原文