microAI
Get started
microAI
Blog
topic: llama.cpp
microAI Blog
topic: llama.cpp
1台のGPUのVRAMに収まらないLLMモデルを 2台で分散してみたら動いた話
May 26, 2024, 6:44 PM
Jetson Orin Nano NX 16G が2台手元にありますので、VRAMに収まらないモデルを分散推論させることで動かしてみます。