airllm lyogavin

AirLLM 70B inference with single 4GB GPU

Hauptsprache
Jupyter Notebook
Stars
30,779
Forks
3,273

Tags

  • Python-Bibliothek
  • LLM-Inferenz
  • Quantisierung
  • Lokale KI
  • Deep Learning

Zusammenfassung

AirLLM reduziert den Inferenz-Speicherbedarf großer Sprachmodelle drastisch, sodass 70B-Modelle auf einer einzigen 4GB-GPU laufen – ohne Quantisierung, Distillation oder Pruning. Durch schichtweises Laden und das Streaming einzelner Experten bei spärlichen MoE-Modellen unterstützt es sogar Modelle …

README

![airllm_logo](https://github.com/lyogavin/airllm/blob/main/assets/airllm_logo_sm.png?v=3&raw=true) [**Schnellstart**](#quickstart) | [**Konfigurationen**](#configurations) | [**MacOS**](#macos) | [**Beispiel-Notebooks**](#example-python-notebook) | [**FAQ**](#faq) **AirLLM** reduziert den Speicher…

查看完整页面