載入中...
Allen KB Articles
共 6 篇；目前第 1 / 1 頁，每頁 24 篇。
colibrì 是 Apache-2.0 的純 C MoE 推理引擎，以 VRAM、RAM、NVMe 多層記憶與專家串流，讓超大模型不必全塞進記憶體；GPU 可選，但 744B 參考模型仍需約 372GB 磁碟，低階硬體可能僅 0.05–0.1 tok/s，適合研究與離線批次，不是免費取代雲端旗艦模型的捷徑。
AirLLM 是 Apache-2.0 的 Python / GitHub 專案，主打不用量化、蒸餾或剪枝，透過逐層拆分與載入把 70B 模型跑在 4GB GPU，405B 跑在 8GB，DeepSeek-V3 約 12GB，Kimi K3 2.8T 官方 release 聲稱在 RTX 6000 Ada 上峰值 3.72GB VRAM。本文整理技術原理、安裝、瓶頸與適用場景。
Threads 討論 Moonshot AI / 月之暗面的 Kimi Delta Attention (KDA) 如何從 Kimi Linear 的 48B/3B active 開源架構，延伸到 Kimi K3 2.8T 旗艦模型。官方 Kimi K3 文件確認：K3 是 2.8T parameters、1M-token context、native vision、built on KDA and AttnRes、Stable LatentMoE 896 experts / 16 active，並聲稱 scaling efficiency 約為 K2 的 2.5x；Kimi Linear 論文與 GitHub 確認 3:1 KDA-to-MLA hybrid、最多 75% KV cache reduction、1M context up to 6x decoding throughput。需 caveat：K3 完整權重官方說明為 2026-07-27 前釋出，本文發文時尚未以權重實測驗證；benchmark/幻覺與商業宣傳需分開看。
NVIDIA Nemotron-Labs-TwoTower 是 two-tower block-wise diffusion language model：凍結 AR/context tower 處理上下文，訓練 diffusion/denoiser tower 以 mask diffusion 並行生成 token block。模型卡聲稱在 2×H100、block size 16、γ=0.8 下達 2.42× AR throughput 並保留 98.7% aggregate quality。
OpenMythos 用 PyTorch 從零重建 Claude Mythos 架構的嘗試，代表一個更大的趨勢：即使 frontier 模型封閉，外部社群仍會透過理論推演與開源實作，持續逼近其設計思想。
Qwen3.5-35B-A3B 蒸餾版：繁中優化、資源更省的推理模型