RedPajama-Data-1T togethercomputer
RedPajama is a clean-room, fully open-source implementation of the LLaMa dataset.
- Tipo
- dataset
- Lenguaje
- en
- Descargas
- 1,939
- Me gusta
- 1,187
- Acceso
- public
- Archivos
- 0
Etiquetas
- corpus de texto
- preentrenamiento de LLM
- texto web
- generación de texto
- NLP
- datos de código
- multilingüe
- aprendizaje profundo
Resumen
RedPajama-Data-1T es un dataset de código abierto con ~1,2 billones de tokens creado por Together Computer para reproducir la receta de entrenamiento de LLaMA, combinando fuentes como Commoncrawl, C4, GitHub, ArXiv, Wikipedia y StackExchange. Resuelve la necesidad de un corpus de preentrenamiento m…
README
--- task_categories: - text-generation language: - en pretty_name: Red Pajama 1T --- ### Primeros pasos El conjunto de datos consta de 2084 archivos jsonl. Puedes descargar el conjunto de datos usando HuggingFace: ```python from datasets import load_dataset ds = load_dataset("togethercomputer/RedPa…