載入中...
載入中...
Threads 以記憶體頻寬解釋 token decoding 速度，提到 RX 7900 XTX、RTX 4090、M3 Ultra、DGX Spark、RTX 5090、RTX Pro 6000 的差異。本文用官方規格校正 DGX Spark 273 GB/s、Apple M3 Ultra over 800GB/s、RX 7900 XTX 960GB/s / effective 3500GB/s，並整理本地 LLM 採購判斷。
AirLLM 是 Apache-2.0 的 Python / GitHub 專案，主打不用量化、蒸餾或剪枝，透過逐層拆分與載入把 70B 模型跑在 4GB GPU，405B 跑在 8GB，DeepSeek-V3 約 12GB，Kimi K3 2.8T 官方 release 聲稱在 RTX 6000 Ada 上峰值 3.72GB VRAM。本文整理技術原理、安裝、瓶頸與適用場景。