載入中...
Allen KB Articles
共 14 篇；目前第 1 / 1 頁，每頁 24 篇。
colibrì 是 Apache-2.0 的純 C MoE 推理引擎，以 VRAM、RAM、NVMe 多層記憶與專家串流，讓超大模型不必全塞進記憶體；GPU 可選，但 744B 參考模型仍需約 372GB 磁碟，低階硬體可能僅 0.05–0.1 tok/s，適合研究與離線批次，不是免費取代雲端旗艦模型的捷徑。
Lily 是 Perplexity 開源的 Rust＋Metal 專用推論伺服器，只支援 M5 以上與特定 Qwen3.6-35B-A3B 4-bit checkpoint；官方 benchmark 對 MLX 的平均 decode 增益約 28.5%～31.3%，不是通用替代品。
Threads 作者選擇 M5 Max Mac Studio 64GB，將本地 35B 模型定位為路由、私人資料處理與離線備援，複雜推理交給雲端模型。這是一個合理的 hybrid AI 架構：64GB/128GB 的核心差異是可常駐模型與 KV cache 餘裕，不是能否取代前沿雲端模型；若兩年換機，應把不可升級 RAM 的增量成本與折舊、雲端訂閱及服務可靠度一起算。
Hugging Face 的 speech-to-speech repo 是 Apache-2.0 的本機語音 agent pipeline，串起 VAD → STT → LLM → TTS，提供 OpenAI Realtime-compatible WebSocket。它可以 fully local，但預設 quickstart 仍用 OpenAI-compatible LLM API；若要完全本地，需要另跑 llama.cpp/vLLM/MLX-LM 等 LLM backend，並注意模型授權與 GPU/Apple Silicon/CUDA 相容性。
Thor Lin 推薦 Huihui-ThinkingCap-Qwen3.6-27B-abliterated 作為 24GB 顯卡可跑的免費本地模型。核心訊號不是單純 tok/s，而是 ThinkingCap 微調把 reasoning token 大幅縮短；作者文章 claims GSM8K 從 3,175 到 648、MTP 從 27.6 到 38.6 tok/s。HF 頁面可驗證 bottlecapai、huihui-ai、mradermacher GGUF 三層模型存在，license tag 為 apache-2.0；性能數字仍應視為作者/模型卡 claim，未重跑。
Threads 貼文整理 2026 年本地 LLM / LocalLLaMA 社群對 MTP 與 DSpark 的討論。本文補充 arXiv 2607.05147 與 GitHub/PR 驗證，說明 Multi-Token Prediction、DSpark semi-autoregressive drafter、confidence-scheduled verification 的差異與落地 caveat。
Open-LLM-VTuber 把 LLM、ASR、TTS、Live2D、視覺感知與桌面寵物模式整合成開源 AI companion；本文把它拆成 agent UI reference stack，並補上授權、隱私、成本與商業化 caveat。
MTPLX 是 Apple Silicon / MLX 上的 native MTP speculative decoding 專案，利用 Qwen3.6 模型內建 MTP heads 當 drafter，避免外部小模型佔記憶體。README 與 LargitData 測試都指向 M5 Max 上約 63 tok/s、temp=0.6 約 2.24 倍加速，但生產採用仍需自行重現。
Threads 討論 RTX 4060 8GB + 32GB DDR5 筆電跑 Qwen 35B A3B 長上下文的案例。耐人尋味的不是「小顯卡能跑大模型」，而是本地 LLM 的瓶頸正在轉向 KV cache、量化、RAM 頻寬、OS 與 mmap/mlock 等系統調校。
Hugging Face CTO 用 Qwen3.6-27B、llama.cpp 與 Pi coding agent 在 MacBook Pro 上跑本地 coding agent，體感接近 Claude Opus；這代表開源本地模型在日常 coding 任務上的護城河差距正在變淺，但仍要留意公開 codebase、速度與第三方驗證限制。
Shimmy 是用 Rust 寫的單檔本地 LLM API server，主打 OpenAI 相容、低資源佔用、自動探索 Hugging Face / Ollama / 本地 GGUF 模型，適合邊緣運算與輕量開發環境。
這則 Threads 最值得記錄的，不是某張卡跑分多高，而是它清楚展示：在本地 LLM 推理裡，模型能否完整塞進記憶體，往往比紙面頻寬更決定真實體感。一旦開始 swap，理論優勢很快就會被 SSD 速度懲罰吞掉。
這則 Threads 不只是分享一個 Gemma 4 31B 變體，而是展示了「去限制模型 + Hugging Face 發布 + Patreon 教學變現 + 本地部署導流」這條快速成形的 AI 灰色內容路線。
這篇 HackMD 最值得記錄的，不是 oMLX 又多快，而是它指出本地 AI coding agent 真正的瓶頸其實是長 context 每輪重算 prefill。oMLX 用 SSD-backed 分層 KV cache 把 TTFT 從不可用等級拉回可用區間，補上的不是 benchmark，而是本地 agent workflow 的最後一哩。