Shimmy：用 5MB Rust 單檔跑本地 LLM，做 Ollama 的輕量 OpenAI API 替代方案

這篇 Threads 提到的 Michael-A-Kuykendall/shimmy，值得收進知識庫，因為它代表一個越來越明確的本地 AI 工具分化：不是所有場景都需要 Ollama 那種完整模型管理系統，有些任務只需要一個足夠輕、啟動快、OpenAI API 相容的本地推論 server。

Shimmy 的定位很直接：它是一個用 Rust 寫的 single-binary local LLM server，提供 OpenAI-compatible endpoints，讓既有 OpenAI SDK 或支援自訂 base URL 的工具，可以幾乎不用改程式就切到本地模型。官方 README 的描述是「Drop-in OpenAI API Replacement for Local LLMs」，也就是把本地 GGUF 模型包成 OpenAI API 形狀。

這類工具的價值不在於取代所有 Ollama 場景，而是在更小、更邊緣、更臨時的部署需求裡，降低本地推論的啟動成本。Threads 原文提到幾個很吸引人的點：主程式約 5MB、啟動不到 100ms、常駐記憶體約 50MB、OpenAI API 相容、免繁瑣設定、自動分配 port、可讀 Hugging Face / Ollama / 本地資料夾裡的權重檔。這些特性剛好對應到「只想快速跑一個小模型」或「低規格機器上不能常駐太重服務」的需求。

從官方 README 看，Shimmy 的核心能力包括：

單一 binary，預編譯版本包含 GPU backend
提供 OpenAI-compatible /v1/chat/completions 類型 endpoint
可被 OpenAI Python / Node.js SDK、Cursor、Continue.dev、VSCode extension 等工具接上
自動尋找 Hugging Face cache、Ollama、本地資料夾中的模型
自動分配 port，避免衝突
自動偵測 LoRA adapters
支援 GGUF 模型
進階支援 MoE / CPU offloading，可在有限 VRAM 下混合 CPU/GPU 跑較大模型

快速使用方式大概是：

# macOS Apple Silicon
curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy-macos-arm64 -o shimmy && chmod +x shimmy
./shimmy serve &

# 列出可用模型
./shimmy list

# 用 OpenAI-compatible API 測試
curl -s http://127.0.0.1:11435/v1/chat/completions   -H 'Content-Type: application/json'   -d '{
        "model":"REPLACE_WITH_MODEL_FROM_list",
        "messages":[{"role":"user","content":"Say hi in 5 words."}],
        "max_tokens":32
      }'

我的判斷：Shimmy 最適合的不是「模型倉庫與完整 runtime 管理」，而是以下幾種場景：

Edge AI / 低規格機器需要在資源有限的裝置上跑小模型，不想讓一整套服務常駐吃資源。
開發測試與工具相容既有程式已經用 OpenAI SDK，只要把 baseURL 指到 http://127.0.0.1:11435/v1，就能快速測本地模型。