載入中...
Allen KB Articles
共 15 篇；目前第 1 / 1 頁，每頁 24 篇。
colibrì 是 Apache-2.0 的純 C MoE 推理引擎，以 VRAM、RAM、NVMe 多層記憶與專家串流，讓超大模型不必全塞進記憶體；GPU 可選，但 744B 參考模型仍需約 372GB 磁碟，低階硬體可能僅 0.05–0.1 tok/s，適合研究與離線批次，不是免費取代雲端旗艦模型的捷徑。
台灣 iOS 開發者 13 展示以 Mac 製作的離線即時字幕＋翻譯工具，支援麥克風與系統播放音訊且不保存錄音；Apple 官方 SpeechAnalyzer／SpeechTranscriber 已提供裝置端、低延遲、長音訊轉錄能力。LIKit 則整理 Mac Local AI 的硬體、框架、模型與安全判斷。
ToolRush 以 warm shell、native read/search 與 parallel RPC 降低 Hermes Agent Tool-Call Tax。macOS fork 宣稱 terminal 中位延遲 5.72×、批次搜尋 7.97×；本文查核 PR 仍未合併、數據為作者自報且插件深度 patch runtime，建議隔離 profile A/B 測試，勿直接裝入主力 default profile。
Lily 是 Perplexity 開源的 Rust＋Metal 專用推論伺服器，只支援 M5 以上與特定 Qwen3.6-35B-A3B 4-bit checkpoint；官方 benchmark 對 MLX 的平均 decode 增益約 28.5%～31.3%，不是通用替代品。
校正模型名稱為 Qwen3.8-27B，確認 OrcaRouter MLX repo、262K 本地 context、HF Apache-2.0 標示，並補上量化 RAM 與 abliterated 衍生模型信任 caveat。
重寫後把焦點從「打破 NVIDIA 壟斷」改為可查證的工程事實：h3.c 是 antirez 以 C/Metal 撰寫的 Mac 推理引擎，程式碼為 MIT；MiniMax-H3 權重則採社群授權，效能與記憶體數字應只表述為 README 的特定測試結果。
MozaikPlayer v1.0.0 是 Adam1313943/MozaikPlayer-Public 發布的 macOS Apple Silicon AI 去馬賽克播放器，README 與 release claim 支援自動偵測馬賽克、手動框選、Real-ESRGAN 超解析度、串流即時 AI 預覽、圖片/影片/串流、多語言、Apple GPU MPS 加速，release asset MozaikPlayer-macOS.zip 約 1.17GB，SHA-256 為 fc1a360e...f0a5，下載數查證時 93。注意：repo 僅公開 README/assets/release binary，沒有 LICENSE，沒有可審計 source code；「AI 去馬賽克」涉及隱私、肖像權、著作權與平台政策風險，僅適合合法且取得授權的用途。
一則 Threads 與 JC Tech Space 文章指出，開發者嘗試繞過 CoreML/Metal，直接調用 Apple M4 的 ANE 執行反向傳播與 Transformer 訓練。重點不是「取代 NVIDIA」，而是 Apple Silicon 上的本地 AI 訓練與專用加速器可程式化邊界開始被重新探索。
Apple 官方開源 container 1.0，用 Swift 與 macOS Virtualization/vmnet/XPC/Keychain 等框架，在 Apple silicon Mac 上以每個容器一個輕量 VM 的方式執行 Linux 容器。它相容 OCI image 與 registry，適合觀察 Mac 開發環境的下一代容器路線，但仍需注意 macOS 26 需求、功能成熟度與 Docker 生態差距。
Threads 貼文整理 Apple 第三代 Foundation Models：AFM 3 Core Advanced 是 200 億參數、每次啟用 10–40 億參數的地端模型；AFM 3 Cloud Pro 透過 Google Cloud 的 NVIDIA GPU 擴展 Private Cloud Compute。但官方細節也顯示，並不是所有雲端模型都跑 NVIDIA，AFM 3 Cloud 與 ADM 3 Cloud 仍為 Apple silicon，訓練則提到 cloud TPU。
MTPLX 是 Apple Silicon / MLX 上的 native MTP speculative decoding 專案，利用 Qwen3.6 模型內建 MTP heads 當 drafter，避免外部小模型佔記憶體。README 與 LargitData 測試都指向 M5 Max 上約 63 tok/s、temp=0.6 約 2.24 倍加速，但生產採用仍需自行重現。
這篇 Threads 拆解 audreyt/pi-ds4 背後的貢獻來源：antirez 的 ds4 C inference engine、Armin Ronacher 的 pi 框架與 pi-ds4 lifecycle、ivanfioravanti 的 M5 Metal/MPP 優化、cyberneurova 的 abliterated GGUF，以及唐鳳 PR #60 的 Q8_0/F32 GGUF loader/compatibility 工作。耐看的重點是開源敘事要精準 credit，不要把整合、相容性修復、效能優化與模型後處理混在一起。
Rapid-MLX 是針對 Apple Silicon 的本地 AI engine，基於 MLX 與 Metal/unified memory，主打 OpenAI-compatible API、prompt cache、tool calling recovery、reasoning separation 與多 agent harness 相容。真正價值不是單一速度數字，而是讓 Mac 本地模型更接近可用於 agent workflow。