Models / LLM / Infra
Perplexity Lily：Apple Silicon 上的 Qwen3.6 專用 Metal 推論引擎
Lily 是 Perplexity 開源的 Rust＋Metal 專用推論伺服器，只支援 M5 以上與特定 Qwen3.6-35B-A3B 4-bit checkpoint；官方 benchmark 對 MLX 的平均 decode 增益約 28.5%～31.3%，不是通用替代品。
2026年9月3日3 分鐘閱讀👁 6
Perplexity × Apple Silicon Local Inference
Lily 不是通用 MLX 替代品，而是一台只為單一 Qwen checkpoint 打磨的 Metal 引擎
Perplexity 在 pplx-garden/lily 開源 Rust＋Metal 推論伺服器，針對 Qwen3.6-35B-A3B 的特定 MLX 4-bit 權重最佳化，提供極小型 OpenAI-compatible API。
**查核結論：**專案與程式碼確實存在，Lily 子專案採 Apache-2.0；但 Threads 所稱「平均比 MLX-LM 快 35%」偏高。依官方兩份完整表格自行計算，對 MLX 0.31.2 的十個 context 平均 decode 增益約 31.3%，對 MLX 0.32.2 約 28.5%。單列最高分別約 34.3% 與 31.9%。
它實際支援什麼
| 項目 | 現況 |
|---|---|
| 硬體 | Apple GPU family 10 以上，官方寫明 M5 或更新 |
| 系統 | macOS 26 以上；benchmark 使用 macOS 27.0 |
| 模型 | 僅 Qwen3.6-35B-A3B |
| 權重 | 指定 MLX affine Q4、group size 64 checkpoint |
| 精度／格式 | 不支援 BF16、GGUF、AWQ、GPTQ、int8、fp8 或其他大小 Qwen |
| 生成 | 固定 greedy decode，thinking disabled |
| API | POST /v1/chat/completions、GET /v1/models、GET /health |
| 授權 | Lily 子目錄 Apache-2.0；仍需閱讀 NOTICE 與模型權重授權 |
Benchmark 怎麼讀
官方測試使用 M5 Max、40-core GPU、128 GB unified memory，batch size 1、64 個 decode steps，涵蓋 256～131,072 tokens context。計時刻意排除模型載入、tokenization、chat template、HTTP 與 detokenization。