fineweb-edu HuggingFaceFW
📚 FineWeb-Edu 1.3 trillion tokens of the finest educational data the 🌐 web has to offer Paper: https://arxiv.org/abs/2406.17557 What is it? 📚 FineWeb-Edu dataset consists of 1.3T tokens and 5.4T tokens (FineWeb-Edu-score-2) of educational web pages filtered from 🍷 FineWeb dataset. This is the 1.3 trillion version. To enhance FineWeb's quality, we developed an educational quality classifier using annotations generated by LLama3-70B-Instruct. We… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu.
- 유형
- dataset
- 라이선스
- odc-by
- 언어
- en
- 다운로드
- 403,783
- 좋아요
- 1,259
- 접근
- public
- 파일
- 0
태그
- 사전학습 말뭉치
- 교육 데이터셋
- LLM
- 텍스트 데이터셋
- 데이터 필터링
- 대형 언어 모델
요약
FineWeb-Edu는 FineWeb 데이터셋에서 Llama3-70B 교육 품질 분류기를 활용해 교육용 웹 페이지만 고품질로 필터링한 대규모 사전학습 말뭉치입니다. 1.3조 토큰 규모로 LLM 사전학습 및 미세조정에 사용할 수 있으며, 교육 데이터의 품질을 높여 모델 성능 향상을 돕습니다. 다양한 데이터셋 크기의 샘플 버전과 여러 웹 덤프 구성을 제공합니다.
README
--- license: odc-by task_categories: - text-generation language: - en pretty_name: FineWeb-Edu size_categories: - n>1T configs: - config_name: default data_files: - split: train path: data/*/* features: - name: text dtype: string - name: id dtype: string - name: dump dtype: string - name: url dtype…