Gemma 4 QAT GGUF：把大型多模態模型推進一般筆電的本機推論門檻

Gemma 4 QAT GGUF 的價值不只在量化，而是在把多模態、長上下文與本機推論推到一般筆電/消費級 GPU 可測的範圍；新增 12B Instruct 在 16GB 顯卡、LM Studio、256K context 的社群實測補充。

2026年6月6日4 分鐘閱讀👁 11

Local AI · QAT · GGUF

Gemma 4 QAT GGUF 的重點：不是「更小」而已，而是讓量化進入訓練假設

Threads 貼文提到 Unsloth 剛釋出 Google Gemma 4 官方 QAT 版本的 GGUF。真正值得記錄的不是又多了一批 GGUF 檔，而是 QAT（Quantization-Aware Training）把 4-bit 壓縮從事後補救變成訓練時就納入的模型假設，讓較大的多模態、長上下文模型更接近一般筆電與消費級 GPU 的本機推論範圍。

這次釋出的模型範圍

Unsloth 文件列出 Gemma 4 QAT GGUF 涵蓋 E2B、E4B、12B、26B-A4B、31B。它們被描述為多模態、hybrid-thinking 模型，支援 140+ 語言；小模型最高 128K context，12B 以上最高 256K context。

記憶體門檻

官方文件標示的建議總記憶體（RAM + VRAM 或 unified memory）約為：E2B 3GB、E4B 5GB、12B 7GB、26B-A4B 15GB、31B 18GB。這讓 26B-A4B / 31B 這類模型從「強桌機 GPU」更接近「高階筆電或統一記憶體機器」。

QAT 的核心差異

一般量化常是先訓練 BF16，再把權重壓到低位元；QAT 則在訓練過程中就讓模型適應量化誤差。Unsloth 文件稱 int4 QAT GGUF 相對 BF16 約降低 72% 記憶體使用，同時保留接近原始模型品質。

採用判斷：如果目標是本機跑多模態 / 長上下文模型，這批 QAT GGUF 比「隨便找一個 Q4」更值得測。原因是 Unsloth 明確指出，Gemma 4 QAT 不能用傳統「越高 precision 越好」的直覺處理；它們只提供特定 UD-Q4_K_XL，E2B / E4B 另有 UD-Q2_K_XL mobile mixture 版本，因為 naive Q4_0 反而會讓準確度大幅下降。

模型	QAT GGUF 大小	BF16 大小	建議總記憶體	定位
Gemma 4 E2B QAT	2.62 GB	9.31 GB	3 GB	手機 / 輕量筆電測試入口
Gemma 4 E4B QAT	4.22 GB	15.1 GB	5 GB	筆電、低門檻本機多模態
Gemma 4 12B QAT	6.72 GB	23.8 GB	7 GB	較完整的本機助理 / 長上下文實驗
Gemma 4 26B-A4B QAT	14.2 GB	50.5 GB	15 GB	高階筆電、消費級 GPU 的主力候選
Gemma 4 31B QAT	17.3 GB	61.4 GB	18 GB	需要更大 unified memory / VRAM 的高階本機模型

Unsloth Dynamic 的意義

文件中特別比較 naive Q4_0 與 Unsloth 轉換。以 26B 為例，naive Q4_0 的 Top-1 約 70.20%，Unsloth 版本為 85.63%；12B 則從 74.08% 提到 88.76%。這表示「同樣看起來是 4-bit」不代表品質相同，轉換方式本身會決定能不能保住 QAT 的訓練成果。