AirLLM

AirLLMは、大規模なオープンソース言語モデルを低スペックのコンピュータでも実行できるように設計されたオープンソースのPython推論ライブラリです。モデル全体をGPUメモリに載せる代わりに、一度に1つのレイヤーのみをロードし、必要な部分をディスクからストリーミングすることで、単一の4GB GPUでLlama 70B級のモデルを実行できるようにメモリ使用量を大幅に削減します。Qwen、Llama、DeepSeek、Mistral、Mixtral、Phi、Gemma、ChatGLM、Baichuan、InternLMなど、多様なモデルファミリーをHugging FaceのリポジトリIDだけで読み込むことができ、AutoModelインターフェースを通じてTransformersと同様の方法でテキスト生成推論を実行します。4ビット・8ビットのブロック単位圧縮, プリフェッチ, CPU推論, 非シャードモデル, Apple SiliconベースのmacOSでの実行もサポートしています。大型モデルの研究やローカルでの実験を目的とするAI研究者、MLエンジニア、オープンソース開発者、限られたVRAM環境の個人ユーザーを主な対象としています。ただし、実行速度やディスク容量、CUDA・PyTorch・モデルごとの依存関係は、使用環境によって異なる場合があります。