NVIDIA KVTC：LLM 記憶體用量縮減 20 倍的 KV 快取壓縮技術

原文摘要

NVIDIA 研究人員提出 KVTC（KV Cache Transform Coding），一種借鑑 JPEG 壓縮邏輯的 KV 快取壓縮技術，最高可將 LLM 記憶體用量縮減 20 倍，且不需修改模型本身。首次 Token 生成時間（TTFT）加速最多 8 倍。

KV 快取是什麼？為什麼是瓶頸？

KV 快取是 LLM 的「短期記憶」：

Key：記住查詢中重要的部分
Value：記住上下文中重要的部分
避免每次生成新 Token 都重新計算整段對話歷史

問題：長上下文任務中，KV 快取容易膨脹到數 GB。能同時服務的使用者數量往往受 GPU 記憶體限制，而非運算能力。這已直接反映在商業定價中（如 prompt caching 收費）。

KVTC 怎麼運作？

三步驟壓縮流水線，靈感來自 JPEG 圖片壓縮：

1. PCA 特徵去相關

用主成分分析對 KV 快取的特徵按重要性對齊
離線校準一次，不影響推論速度

2. 自適應量化

動態規畫演算法自動分配記憶體
最關鍵的主成分 → 高精度
次要的主成分 → 少位元或直接捨棄
在有限記憶體下保留最多資訊

3. 熵編碼

量化後的數值用 DEFLATE 演算法壓縮
利用 NVIDIA nvCOMP 庫直接在 GPU 上並行運算，速度極快

解壓縮：反向執行（熵解碼 → 反量化 → 逆 PCA），分塊逐層處理，模型可以邊解壓邊開始計算。

效能數據

壓縮比 20 倍時：大多數任務準確率損失保持在 1 個百分點以內
即使推至 32 倍、64 倍壓縮，仍展現穩定性能
對比 KIVI、GEAR 等主流方法：它們在僅 5 倍壓縮時就出現顯著準確率下降
H2O、TOVA 等 Token Eviction 方法在需要深層上下文檢索時幾乎失效

實際數字

Qwen 2.5 1.5B：每 Token 29KB → 9 倍壓縮後 3.2KB
8000 Token 提示在 H100 上：從頭計算約 3 秒 → KVTC 解壓約 380ms（8 倍加速）

最佳使用場景

✅ 適合：

長上下文、多輪對話
程式設計助理
迭代式 Agent 推理
迭代式 RAG

❌ 不適合：

短對話（未壓縮的最新 Token 佔主要比例，壓縮效果有限）

部署與整合

非侵入式：不需修改模型權重或程式碼
NVIDIA 考慮整合進 Dynamo 框架的 KV Block Manager
預期可與主流開源推論引擎（如 vLLM）相容

核心觀點

1. 這是「記憶體成本」問題的突破，不是「運算能力」問題

LLM 推論的瓶頸已經從算力轉向記憶體。KVTC 直接攻擊這個瓶頸——同樣的 GPU 可以服務更多使用者。

2. 借鑑 JPEG 的思路很精妙

KV 快取的底層資訊高度相關（低秩結構），和圖片中大量重複的像素邏輯相同。用媒體壓縮的成熟思路來壓縮 AI 記憶，是一個跨領域的漂亮類比。

3. 對 Agent 和長上下文應用影響最大

隨著 Agent 工作流越來越長（多輪推理、RAG 迭代），KV 快取膨脹問題會越來越嚴重。KVTC 讓這些場景的記憶體成本大幅下降。

我的觀察

這篇是硬核技術文，但結論很實際：

LLM 的記憶體瓶頸正在被解決。KVTC 用 JPEG 壓縮的邏輯把 KV 快取縮小 20 倍，精度幾乎不掉。這意味著同一張 GPU 卡能同時服務更多使用者，推論成本將進一步下降。