blogpost-fineweb-v1 HuggingFaceFW

種別
space
いいね
1,407
アクセス
public
ファイル
0

タグ

  • 事前学習コーパス
  • 大規模データセット
  • 大言語モデル
  • Webアプリ
  • データ可視化
  • 技術文書

概要

このSpaceはHuggingFaceファウンデーションチームが公開したFineWebデータセットの解説ブログ記事です。ウェブから高品質なテキストデータを大規模に精製する手法とプロセスを紹介し、LLM事前学習用の大規模データセット構築の課題解決に寄与します。技術的なデータ精製パイプラインの理解と再現に役立つリソースです。

README

--- title: 'FineWeb：大規模な高品質テキストデータをウェブから抽出する' emoji: 🍷 colorFrom: pink colorTo: red sdk: static pinned: false header: mini app_file: dist/index.html thumbnail: https://huggingface.co/spaces/HuggingFaceFW/blogpost-fineweb-v1/resolve/main/screenshot.jpeg ---

查看完整页面 · 查看原文