---

title: "Google TurboQuant：KV Cache 壓到 3 bit 不掉精度不需微調，市場卻通殺記憶體股" date: 2026-03-26 author: skyline_trashtalk source: https://www.threads.com/@skyline_trashtalk/post/DWUFvPIE2AY category: threads tags:

• Google
• TurboQuant
• KV Cache
• 記憶體
• 投資
• HBM created: 2026-03-27 updated: 2026-03-27

---

Google TurboQuant：KV Cache 壓到 3 bit 不掉精度不需微調，市場卻通殺記憶體股

原文摘要

Google 發表 TurboQuant，能有效壓縮 KV cache 用量。市場反應：記憶體股全面下殺。作者認為「相當有意思」。

TurboQuant 技術重點

• KV cache 量化到僅 3 bit
• 不需要額外訓練或微調
• 不犧牲模型準確率
• 執行速度比原始的 Gemma 和 Mistral 模型更快
• 實作非常高效，幾乎零額外開銷
• 在 H100 上，4-bit TurboQuant 相較 32-bit 未量化的 keys，最高 8 倍效能提升

記憶體分層架構（NVIDIA Dynamo）

TurboQuant 會影響的是 NVIDIA Dynamo 管理的記憶體分層：

• G1（GPU HBM）：最熱、延遲最敏感的 KV — 最貴的一層
• G2（System RAM）：HBM 卸載緩衝
• G3（Local SSD）：溫 KV，短期重用
• G4（Shared Storage）：冷數據，持久但不在關鍵路徑

理論上，TurboQuant 首先應該減少最貴的 G1 層需求。

市場反應

• 記憶體股全面下殺——美光、SK 海力士等
• 作者認為：「開了一個豹子，通殺」

留言區重點

• @i_have_nooo_idea：「原本以為 KV cache 有機會 offload 下去，結果 Google 直接發炸彈」
• @ikeiww：已經有人開源實作了 → TheTom/turboquant_plus
• @everyvillainislemons_0223：「能更省空間那當然是買更多硬體塞更多東西啊，覺得 RAM 股價會跌的是在搞笑嗎」—— 呼應傑文斯悖論