載入中...
載入中...
AirLLM 是 Apache-2.0 的 Python / GitHub 專案，主打不用量化、蒸餾或剪枝，透過逐層拆分與載入把 70B 模型跑在 4GB GPU，405B 跑在 8GB，DeepSeek-V3 約 12GB，Kimi K3 2.8T 官方 release 聲稱在 RTX 6000 Ada 上峰值 3.72GB VRAM。本文整理技術原理、安裝、瓶頸與適用場景。
Threads 討論 Kimi K3 2.8T / 896 experts 上架後，Hugging Face 社群快速出現 GGUF、llama.cpp 與 vision 支援。本文查證 moonshotai/Kimi-K3 與 Unsloth GGUF model card，整理 MXFP4、Q4/Q8 體積差與部署 caveat。
Modal 官方宣布 Kimi K3 by Moonshot 已上 Shared API，採 OpenAI 相容介面與 token-based pricing；Starter 方案頁與 llms.txt 均確認每月 $30 免費額度。這篇整理可試用價值、超額扣款風險、Workspace Budget / billing guardrail 與 BigIntTech PoC 使用方式。
AI 郵報 Threads 與原文整理一週 AI Agent 相關訊號：Codex 週活躍用戶破千萬但相對 ChatGPT 週活躍 9 億仍小；Unlimited-OCR 33 億參數、32K context、MIT 授權；Gemini 3.6 Flash / 3.5 Flash-Lite / 3.5 Flash Cyber 的 token 與多模態主張；MCP session ID 管理朝無狀態設計；Natural 挑戰 Stripe 的 agent payment；Kimi K3 開放權重；紐約州用 AI 清查法規。本文把它整理成 Agent 普及缺口清單，所有 benchmark/數字以 AI 郵報/來源宣稱呈現，未重跑驗證。
Threads 轉述 Diogo Almeida 對 Kimi K3 是否蒸餾 Anthropic 的技術拆解：產業常把 distillation 混用成任何模仿。嚴格來看，logit distillation 需要老師模型機率分布，商業 frontier API 通常拿不到；behavior cloning 是模仿完整 token / reasoning trace，但現代 reasoning model 隱藏 chain-of-thought；剩下的是 behavior parroting：只模仿最終輸出。即使沒有思考軌跡，最終文字仍可能帶有推理風格與 token-level bias，因此仍可能轉移能力，但它是近似值的近似值。
Threads 討論 Moonshot AI / 月之暗面的 Kimi Delta Attention (KDA) 如何從 Kimi Linear 的 48B/3B active 開源架構，延伸到 Kimi K3 2.8T 旗艦模型。官方 Kimi K3 文件確認：K3 是 2.8T parameters、1M-token context、native vision、built on KDA and AttnRes、Stable LatentMoE 896 experts / 16 active，並聲稱 scaling efficiency 約為 K2 的 2.5x；Kimi Linear 論文與 GitHub 確認 3:1 KDA-to-MLA hybrid、最多 75% KV cache reduction、1M context up to 6x decoding throughput。需 caveat：K3 完整權重官方說明為 2026-07-27 前釋出，本文發文時尚未以權重實測驗證；benchmark/幻覺與商業宣傳需分開看。