cosmopedia HuggingFaceTB
Cosmopedia v0.1 Image generated by DALL-E, the prompt was generated by Mixtral-8x7B-Instruct-v0.1 Note: Cosmopedia v0.2 is available at smollm-corpus User: What do you think "Cosmopedia" could mean? Hint: in our case it's not related to cosmology. Mixtral-8x7B-Instruct-v0.1: A possible meaning for "Cosmopedia" could be an encyclopedia or collection of information about different cultures, societies, and topics from around the world, emphasizing diversity and global… See the full description on the dataset page: https://huggingface.co/datasets/HuggingFaceTB/cosmopedia.
- 유형
- dataset
- 라이선스
- apache-2.0
- 언어
- en
- 다운로드
- 22,274
- 좋아요
- 740
- 접근
- public
- 파일
- 0
태그
- 합성 데이터
- 사전학습 말뭉치
- 대규모언어모델
- 텍스트 생성
- 데이터셋
- 딥러닝
- NLP
요약
Cosmopedia는 Mixtral-8x7B-Instruct로 생성한 대규모 합성 데이터셋으로, 3천만 개 파일과 250억 토큰을 담고 있습니다. 웹, Stanford, OpenStax, KhanAcademy 등 다양한 시드 데이터를 기반으로 교과서·블로그·스토리·WikiHow 글을 생성해 세계 지식을 폭넓게 커버합니다. 소형 언어모델 사전학습용 고품질 합성 말뭉치로 활용하기 적합합니다.
README
--- dataset_info: - config_name: auto_math_text features: - name: prompt dtype: string - name: text_token_length dtype: int64 - name: text dtype: string - name: seed_data dtype: string - name: format dtype: string - name: audience dtype: string splits: - name: train num_bytes: 8777587297.907892 num…