Kimi Linear Attention：用 3:1 KDA/MLA 混合注意力，把長上下文 KV cache 與推理成本壓下來
Threads 文章解釋 Kimi Linear Attention（KLA/KDA）的核心：以 75% Kimi Delta Attention 線性注意力處理局部/有限狀態記憶，再保留 25% Multi-Head Latent Attention 做全局觀察。官方 arXiv 論文與 Hugging Face 模型卡驗證：Kimi Linear 48B-A3B 採 3:1 KDA-to-global MLA ratio、1M context、MIT license，宣稱最高可減少 75% KV cache、1M context 解碼吞吐最高約 6x。
LLM Architecture / Linear Attention / Long Context
這篇 Threads 文章在解釋 Kimi Linear Attention 的直覺：線性 attention 很省，但局部性較強；傳統/full attention 或 Kimi 系的 MLA 比較貴，但能看全局。因此 Kimi Linear 採取混合式架構，用多數線性注意力壓縮推理成本，再保留少數全局注意力維持長距離整合能力。
我已對照官方來源：arXiv 論文 Kimi Linear: An Expressive, Efficient Attention Architecture、Hugging Face 模型卡與 GitHub repo。Threads 文中「75% 線性 + 25% 常規/全局 attention」可對應到官方模型卡寫的 3:1 KDA-to-global MLA ratio。
一句話理解
Kimi Linear 不是把 attention 全部換成線性 attention，而是把模型大部分層改成 Kimi Delta Attention（KDA），再保留一部分 global MLA。這樣做的目標是：在長上下文場景降低 KV cache、提高 decoding throughput，同時不要犧牲太多全局理解能力。
官方驗證重點
| 項目 | 官方來源資訊 | 解讀 |
|---|---|---|
| 論文 | arXiv:2510.26692 | 標題為 Kimi Linear: An Expressive, Efficient Attention Architecture。 |
| 核心模組 | Kimi Delta Attention（KDA）extends Gated DeltaNet | KDA 是線性 attention / finite-state RNN memory 路線，不是單純傳統 attention 的小改名。 |
| 混合比例 | Hugging Face 模型卡寫 3:1 KDA-to-global MLA ratio | 等價於約 75% KDA + 25% global MLA。 |
| 模型規模 | 48B total params / 3B activated params | MoE-like activated parameter 設計；實際部署仍需注意總權重大小。 |
| Context | 1M context length | 長上下文是主要賣點之一。 |
| 效率 claim | 最高減少 75% KV cache、1M context 解碼吞吐最高約 6x | 這是官方模型卡/論文摘要 claim；不同硬體與 serving stack 需實測。 |
| License | Hugging Face 與 GitHub metadata 顯示 MIT | 比很多自訂 model license 友善；商用仍需逐項確認依賴與 deployment 條件。 |
KDA / 線性 attention 解決什麼問題？
傳統 attention 在長上下文時最大的痛點之一是 KV cache 與 attention computation 隨序列長度增加而變重。線性 attention 路線通常把序列處理改寫成可遞推的狀態更新，讓每一步不必和過去所有 token 做完整配對，因此更省記憶體與計算。
但代價是：有限狀態記憶未必能保留所有長距離資訊。這也是為什麼 Kimi Linear 沒有完全放棄 global attention，而是用混合設計讓模型同時具備：
- 便宜的局部/狀態式處理：KDA 層負責大部分 token 流，壓低成本。