oMLX + TurboQuant 實測 A/B：4-bit KV Cache 省 73% 記憶體，長 context 反而快了 12.8%

原文摘要

作者用 AI agent 實際測試 oMLX 已整合的 TurboQuant 方案，並分享完整 A/B 測試結果。

記憶體計算

36K tokens FP16 KV ≈ 960MB

• TurboQuant 4-bit：≈ 250MB（省 73%）

在 32GB RAM 機器上的並發數計算

扣掉模型本身（~18GB 4-bit 權重 + activation），剩餘 ~12-14GB：

• 無 TurboQuant： 12GB / 960MB ≈ 12 個並發窗口
• 有 TurboQuant： 12GB / 250MB ≈ 48 個並發窗口

同一台機器，並發量可以從 12 拉到 48。

A/B 測試結果（completion tokens/sec）

Context 長度	無 TurboQuant	有 TurboQuant	差異
短 context	35.1	35.4	+0.7%
中 context 16K	9.1	9.9	+8.7%
長 context 31K	7.4	8.4	+12.8%

結論：短 context 速度差不多，長 context 反而更快。

原因：長 context 時，KV cache 本來是記憶體帶寬瓶頸，TurboQuant 壓縮後解除了這個瓶頸，所以速度反而上升。

品質影響

• 4-bit KV top-1 match：92%
• PPL（困惑度）：+1.1%（幾乎無損）

風險

• JSON 格式偶爾可能受 8% token mismatch 影響

其他發現

oMLX 的硬性 context window = 32,768 tokens。

核心觀點

這篇是目前知識庫 KV cache 四部曲的實測補完：

• Google TurboQuant 論文說：3 bit 量化、H100 8x 加速
• 這篇說：在 32GB RAM 的消費者機器上，4-bit 就讓並發量從 12 → 48，長 context 速度加 12.8%

省記憶體 → 可以塞更多並發窗口 → 實際吞吐量提升。傑文斯悖論再次應驗。