分類：local-ai

8GB VRAM 跑長上下文本地 LLM：瓶頸正在從顯卡容量轉向記憶體與 KV Cache 調校

Threads 討論 RTX 4060 8GB + 32GB DDR5 筆電跑 Qwen 35B A3B 長上下文的案例。耐人尋味的不是「小顯卡能跑大模型」，而是本地 LLM 的瓶頸正在轉向 KV cache、量化、RAM 頻寬、OS 與 mmap/mlock 等系統調校。