分類：llm-inference-optimization

Qwen-Compress：RTX 3090 上的 Qwen KV Cache 壓縮實驗

Qwen-Compress 是 Gavin-chen 發布在 Hugging Face 的 MIT 授權實驗專案，透過每 4 層插入 HiddenStateCompressor，以 learned weighted pooling 將部分 hidden states 4 合 1，目標是降低 Qwen 架構 KV cache prefill 成本；IFEval 幾乎不掉，但 GSM8K 推理明顯衰退，適合視為研究原型而非 production-ready 壓縮方案。