fineweb-edu HuggingFaceFW
📚 FineWeb-Edu 1.3 trillion tokens of the finest educational data the 🌐 web has to offer Paper: https://arxiv.org/abs/2406.17557 What is it? 📚 FineWeb-Edu dataset consists of 1.3T tokens and 5.4T tokens (FineWeb-Edu-score-2) of educational web pages filtered from 🍷 FineWeb dataset. This is the 1.3 trillion version. To enhance FineWeb's quality, we developed an educational quality classifier using annotations generated by LLama3-70B-Instruct. We… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu.
- 类型
- dataset
- 许可
- odc-by
- 语言
- en
- 下载量
- 403,783
- 点赞
- 1,259
- 访问
- public
- 文件
- 0
标签
- 预训练语料
- 文本数据集
- 大语言模型
- 文本生成
- 数据处理
- NLP
摘要
FineWeb-Edu 是 Hugging Face 团队从 FineWeb 数据集中筛选出的高质量教育类网页大语料库，包含 1.3 万亿 Token（另有 5.4 万亿的 score-2 版本）。团队使用 Llama3-70B-Instruct 生成标注训练教育质量分类器，对网页内容进行教育性评分过滤，显著提升语料质量。该数据集适合用于预训练或进一步微调大语言模型，可显著提升模型的推理与知识能力。
README
--- license: odc-by task_categories: - text-generation language: - en pretty_name: FineWeb-Edu size_categories: - n>1T configs: - config_name: default data_files: - split: train path: data/*/* features: - name: text dtype: string - name: id dtype: string - name: dump dtype: string - name: url dtype…