Whallm 1.1.13 查核：16 GiB 跑大模型的 SSD 取捨、Native 跑分與模型授權
核對作者續文、固定 release 與模型卡：低 RAM 依靠 SSD 專家串流；舊 MLX 跑分不能證明新版 C++/Metal 提升，App MIT 也不涵蓋 Qwen 與 Swift1.5 的商用授權。
Whallm 是 Apple Silicon 上的本機大模型推論 App，提供聊天與 OpenAI-compatible API。它以共享權重常駐記憶體、按需從 SSD 讀專家與查表資料，交換記憶體需求與儲存 I/O，並不是把所有約 180B 權重壓進 16 GiB。
最重要的查核限制：原貼宣稱 Whallm 1.1.13 可達 Prefill 536 tok/s、Decode 21 tok/s，以及相對舊版 2x / 1.5x 提升；但該版 release notes 明說廣泛品質、效能與 M5 驗證仍未完成，舊 MLX benchmark 不代表新 Native 引擎。本篇保留作者數字，未將其提升為已獨立重現的效能保證。
原貼與作者補充
yanun.0323 原貼 Dej_uN_GsJM 的機器時間為 2026-10-16T16:46:45Z。作者續文提供 v1.1.13 App 與 repo 連結、表示 M 系列可嘗試，並說最高速可開自動專家快取、最低記憶體可降低常駐專家及把 Prompt Cache 數量與上限降到 1。對 M1 16GB 的留言，作者也承認可能吃力。
作者回覆精度問題時連到 Swift1.5 衍生模型的 Whallm artifact，而不只原生 Qwen。兩個模型不可因共用引擎或相似名稱就互換跑分、品質或授權。可見留言包含精度、context、散熱與硬體比較等問題；Meta AI 回答不是獨立證據，P40 的簡短比較也沒有相同測試條件。本次留言覆蓋 partial，排除推薦串；未取得可核讀的作者跑分／設定原圖，因此不補猜跑分的精確機型與設定。
16 GiB、180B 與 SSD 分別代表什麼
- 參數計數：Qwen 官方 model card 列主模型 125B、每 token 啟用約 6B，另有 51B N-gram embedding 與 4B MTP。把這三項相加可得到社群所稱約 180B 的計數口徑；不代表每步都計算全部參數，也不表示 180B dense 模型可用同樣資源運作。
- 記憶體：Whallm 透過專家快取與 SSD streaming 減少常駐需求。低快取設定可降低記憶體，卻可能增加讀取等待；模型／引擎記錄的 peak memory 不等於 macOS、其他 App 與整機總用量。README 仍建議 64 GiB，不能據一句 16 GiB 就保證 16GB 機器長時間流暢。
- 儲存：v1.1.13 README 列 Qwen 完整安裝約 117.52 GiB，Swift1.5 約 118.94 GiB，含對應影像權重。這不是 RAM 用量，也不能把 App ZIP 大小當模型大小。仍需快速 SSD 與足夠下載／暫存空間。
- context：新版本可設定單次輸入加輸出的 context window，超限回 context_length_exceeded。Prompt Cache 設為 1 GiB 不等於保證一百萬 token context；長對話的記憶體需求、快取與模型實際取用上下文能力要分開測。
1.1.13 真正變了什麼
固定 v1.1.13 原始碼與 release notes 確認：兩個 Qwen 模型改用 C++＋Metal 的 Native engine，不再走 MLX；既有模型下載與正式 API model ID 保留，MLX Prompt Cache 不沿用，輸出也可能與 MLX 不同。舊 -native 預覽 ID 已移除。這是特定 Qwen 路徑的變更，不能寫成所有受支援模型全部都已同樣改寫。
新或重設設定預設啟用自動專家快取、MTP 及 8-bit resident weights，已儲存的選項則保留。自動快取依載入時可用記憶體決定，release notes 記最多 8,192 slots；README 描述會預留 macOS 與其他 App 所需空間。最高速度設定也會增加常駐記憶體，與最低用量設定不是同一個測試。
App 需 Apple Silicon 與 macOS 15 以上。Qwen 原模型與 Swift1.5 有不同 API ID、安裝目錄與設定。文件確認兩者支援靜態影像，但不支援 Qwen 的影片、音訊與文件輸入；上游模型具某模態不等於每個推論 runtime 都有實作。
如何讀跑分，才不會把不同版本混在一起
Prefill 是處理輸入的速率，Decode 是生成輸出的速率；還要看第一個 token 的等待時間 TTFT、輸入／輸出 token 數、總耗時、品質及記憶體。兩個 tok/s 不能當成整體每次互動速度。
固定版本 BENCHMARK.md 明列 Qwen 表格是舊 MLX 引擎歷史資料。它還承認部分紀錄缺 source commit、完整設定、cache state、raw artifact 或 output hash，不能用來做嚴格跨版提升比較。本篇因此不把 v1.1.12 的低記憶體表格搬來證明 v1.1.13 的 536 / 21，也不把同一張表裡的 Swift1.5、Qwen 和 DeepSeek 當控制變因相同的比較。
v1.1.13 release notes 報告 Python、Swift 與 release-script 測試及 App／ZIP 檢查；這是維護者發布的驗證紀錄，不是本次跑測試，也不等於長上下文品質、模型精度或全部硬體的驗收。固定 README 的部分測試數字與舊 release notes 連結仍落後，本文以該版本 release notes 解釋版本驗證，保留文件差異而不將它們當成同一批執行。