colibrì：用 SSD 串流在消費級硬體跑 744B MoE，但「舊電腦也能跑」不等於實用速度

Threads 知識整理 · Local LLM Infrastructure

colibrì 的突破不是把 744B 模型「縮到舊電腦裡」，而是把 MoE 專家權重視為可從 SSD 即時搬運的資料。它降低的是容量門檻，不是 I/O、算力、磁碟空間與等待時間的物理成本。

一句話判斷：技術是真的、repo 也高度活躍；但社群貼文把「能輸出 token」簡化成「舊電腦能實用跑頂尖模型」。在 25GB RAM 的參考低標上，官方實測冷態只有約 0.05–0.1 tok/s，一句回答可能要等很多分鐘。

原文宣稱 Reality Check

宣稱	查證結果
純 C、零依賴	核心 engine 是單一 C 檔加小型 headers，不依賴 BLAS，CPU-only 可跑；但 launcher、API gateway、模型下載／轉換仍會用 Python，從 source build 也需要 compiler、make、git 與 OpenMP。
不需要高階 GPU	成立。GPU 是加速選項，不是必要條件；效能取決於 CPU、RAM、NVMe、cache 命中與模型。
舊電腦也能跑 744B	容量上可能，互動速度未必。GLM-5.2/5.3 參考模型約 372GB，最低約 16GB RAM、24GB 較舒適；25GB dev box 冷態約 0.05–0.1 tok/s。
已有 3 萬 stars	查證時 GitHub 約 30.8K stars、3.3K forks；數字成立，但 stars 不是品質、安全或穩定性認證。
能跑 frontier MoE	官方目前列出 GLM、Inkling、Kimi K3、DeepSeek V4、Qwen3.8／3.6、OLMoE 等九個 family；每個 family 有專用 engine，並非任意 GGUF／任意 MoE 都可直接載入。

原理：把記憶體不足改寫成放置與串流問題

以 744B GLM-5.2 為例，MoE 每個 token 只啟用部分參數。colibrì 將 dense trunk 約 9.9GB 常駐 RAM，把約 19,456 個 routed experts 的 int4 權重放在 SSD（總計約 370GB），依 router 選擇在推理時載入；LRU、熱門 expert pinning、提前一層 prefetch、batch union 與可選 VRAM tier 用來降低重複 I/O。

這等於把 VRAM、RAM、NVMe 視為同一個多層記憶體階層：記憶體少時仍能保持相同權重語義，但會更慢；RAM／VRAM 夠大時，更多 expert 常駐，磁碟逐步退出 decode hot path。

硬體門檻不是「零」

模型	約需磁碟	RAM	定位
OLMoE 7B	約 7GB	8GB	舊機／先驗證工具最務實
Qwen3.6-35B-A3B	約 20GB	24GB，需完整 RAM residency	較有機會達到可互動速度
GLM-5.2/5.3 744B	約 372GB	16GB 最低、24GB 較舒適	展示超大 MoE 可運行；小 RAM 下很慢
GLM-5.3-Flash 321B	約 195GB	約 25GB	支援 vision，但仍高度依賴 SSD
Kimi K3 2.8T	約 1.6TB	32GB+	研究級容量與等待成本

colibrì：用 SSD 串流在消費級硬體跑 744B MoE，但「舊電腦也能跑」不等於實用速度

原文宣稱 Reality Check

原理：把記憶體不足改寫成放置與串流問題

硬體門檻不是「零」

官方實測揭露的真實速度

安裝與模型格式 Caveat

成熟度、授權與風險

Allen 的實用判斷