oasst1 OpenAssistant
OpenAssistant Conversations Dataset (OASST1) Dataset Summary In an effort to democratize research on large-scale alignment, we release OpenAssistant Conversations (OASST1), a human-generated, human-annotated assistant-style conversation corpus consisting of 161,443 messages in 35 different languages, annotated with 461,292 quality ratings, resulting in over 10,000 fully annotated conversation trees. The corpus is a product of a worldwide crowd-sourcing effort… See the full description on the dataset page: https://huggingface.co/datasets/OpenAssistant/oasst1.
- 유형
- dataset
- 라이선스
- apache-2.0
- 언어
- en
- 다운로드
- 21,688
- 좋아요
- 1,559
- 접근
- public
- 파일
- 0
태그
- 대화 데이터
- 다국어
- 명령어 미세조정
- 데이터셋
- 인간 피드백
- 보상 모델
- 강화학습
- 대규모 언어 모델
요약
OASST1은 전 세계 13,500명 이상의 자원봉사자가 생성한 인간 어시스턴트 스타일 대화 코퍼스로, 35개 언어에 걸쳐 16만 개 이상의 메시지와 46만 건 이상의 품질 등급이 포함된 대규모 정렬(alignment) 연구용 데이터셋입니다. 메시지 트리 구조로 구성되어 SFT(지도 미세조정)와 보상 모델(RM) 훈련에 활용할 수 있으며, 대규모 언어모델의 정렬과 지시 따르기 능력을 개선하는 데 적합합니다. 다국어·인간 피드백 기반 데이터를 필요로 하는 연구 및 파인튜닝 시나리오에 널리 사용됩니다.
README
--- license: apache-2.0 dataset_info: features: - name: message_id dtype: string - name: parent_id dtype: string - name: user_id dtype: string - name: created_date dtype: string - name: text dtype: string - name: role dtype: string - name: lang dtype: string - name: review_count dtype: int32 - name…