blogpost-fineweb-v1 HuggingFaceFW
- Typ
- space
- Likes
- 1,407
- Zugriff
- public
- Dateien
- 0
Tags
- Webanwendung
- Vortrainingskorpus
- Webdaten
- Deduplizierung
- Große Sprachmodelle
- Dokumentation
- Textdaten
Zusammenfassung
Dieses Space präsentiert das FineWeb-Projekt von HuggingFaceFW, eine skalierbare Pipeline zur Aufbereitung des Webs für hochwertige Textdaten im LLM-Training. Es stellt die Deduplizierung, Filterung und Kuratierung von Webdaten in einem umfangreichen Vortrainingskorpus vor. Das Space dient zur Visu…
README
--- title: 'FineWeb: Das Web dekantieren für die feinsten Textdaten in großem Maßstab' emoji: 🍷 colorFrom: pink colorTo: red sdk: static pinned: false header: mini app_file: dist/index.html thumbnail: https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1/resolve/main/screenshot.jpeg ---