標籤：ollama

Microsoft Fara-7B：可本地部署的 7B Computer Use Agent 小模型

Rapid-MLX：Apple Silicon 本地 AI Engine 開始接近 Agent 工作流需求

Rapid-MLX 是針對 Apple Silicon 的本地 AI engine，基於 MLX 與 Metal/unified memory，主打 OpenAI-compatible API、prompt cache、tool calling recovery、reasoning separation 與多 agent harness 相容。真正價值不是單一速度數字，而是讓 Mac 本地模型更接近可用於 agent workflow。

NVIDIA Nemotron 3 Nano Omni：本地多模態 Agent 大腦開始商品化

NVIDIA Nemotron 3 Nano Omni 把文字、圖片、影片、音訊、OCR、語音轉錄、GUI 理解與工具調用整合成單一 30B-A3B MoE 模型，已可透過 LM Studio、Ollama、llama.cpp、vLLM、SGLang 等路徑使用；真正重點不是「又一個模型」，而是企業級本地多模態 Agent 的部署門檻正在下降。

Shimmy：用 5MB Rust 單檔跑本地 LLM，做 Ollama 的輕量 OpenAI API 替代方案

Shimmy 是用 Rust 寫的單檔本地 LLM API server，主打 OpenAI 相容、低資源佔用、自動探索 Hugging Face / Ollama / 本地 GGUF 模型，適合邊緣運算與輕量開發環境。