Edge0：把 MoE 專家留在 SSD，讓 35B 模型以約 3 GiB 活躍記憶體推論

大型 MoE 每個 token 只啟用少數專家，但傳統推論仍常把全部權重放進記憶體。Edge0 的做法是讓大部分 expert 權重留在 SSD，需要時才 mmap／stream 進來，再用預測式路由把讀取延遲藏在運算後面。

先校正「35B 只要 3GB」

2.9 GiB 指的是短上下文測試下的 peak active memory，不是模型檔案總大小，也不是整台裝置只需要 3 GB RAM。

• 論文中的 35B int4 checkpoint 約 19.5 GB；官方 README 的實際下載說明約 23 GB。
• 仍需預留作業系統、tokenizer、runtime 與 KV cache；上下文越長，KV cache 越大。
• 官方主要 benchmark 使用 24 GB Mac mini M4 Pro，不是 3 GB RAM 裝置。

三個核心機制

1. SSD expert offload

Edge0 將量化後的 expert 權重以 safetensors 留在儲存裝置，透過 mmap 與 bounded streaming pool 只載入目前路由到的專家。MoE 的峰值記憶體因此由「總參數量」改為接近「活躍專家集合」。

35B tier 有 40 層、256 個 experts，K=4；每個 token 活躍約 3B 參數。SSD 並沒有消除權重，只是成為較低層的 weight tier。

2. Prerouter：提前一個 token 預測下一層專家

單純 on-demand offload 會在每層等待 SSD I/O。Edge0 訓練小型 prerouter，提前一個 token 預測下一層會使用的 experts，並把預測結果直接當成實際 routing，讓載入與當前 forward pass 重疊。

代價是原始模型的 routing 被替換，預測錯誤不再由 runtime fallback 修補，而是透過訓練把品質損失吸收掉。

3. Recover-LoRA：補回 int4 與 routing replacement 的能力

4-bit 量化和替代 routing 都會降低品質。Edge0 冻結 int4 base，以 teacher distillation 訓練 LoRA，部署時保持 unmerged，平行加回 LoRA delta。論文指出若先 merge 再重新量化，許多細小 LoRA 變化會被 4-bit 步階吃掉。

官方測試結果怎麼讀