new-api：把 OpenAI、Claude、Gemini 接成同一個自架 LLM Gateway

AI Infrastructure / LLM Gateway

new-api 是自架版的多模型 API 中控台

Threads 把 new-api 比喻成 AI 世界的外賣平台：前端只接一個入口，後面可以串 OpenAI、Claude、Gemini、Azure、DeepSeek、Qwen 等不同廚房。官方 GitHub 描述更精確：它是 unified AI model hub，可在 OpenAI-compatible、Claude-compatible、Gemini-compatible 格式之間做轉換，並附帶路由、重試、計費與權限管理。

它解決什麼

多 provider 專案常被 API 格式、金鑰、用量、成本與備援策略拖累。new-api 把不同模型供應商收斂到一個 gateway，讓應用端盡量只面對統一入口。

官方定位

QuantumNous/new-api 官方 repo 描述為「unified AI model hub for aggregation & distribution」，支援多種 LLM 格式 cross-conversion，並可作為個人或企業的集中式模型管理 gateway。

授權與規模

GitHub API 顯示 repo 約 33.5K stars，授權為 AGPL-3.0。若企業內部深度改造或對外提供服務，授權義務需要先確認。

層級	new-api 提供的能力	實務意義
API 格式	OpenAI Responses、Claude Messages、Google Gemini、Rerank 等格式支援；部分格式間可互轉。	應用端可降低 provider lock-in，但仍要注意 function calling / streaming / multimodal 的相容邊界。
路由	Channel weighted random、失敗自動 retry、user-level model rate limiting。	可做流量分配、備援與限速，適合多模型 / 多金鑰營運。
計費與用量	per-request、usage-based、cache-hit cost accounting，支援用量統計與 dashboard。	團隊共用 quota、內部成本歸戶、對外授權使用時更容易管理。
Auth / 管理	Discord、LinuxDO、Telegram、OIDC 登入；token 分組、模型限制、使用者管理。	比單純 proxy 更像營運後台，非工程成員也能看用量與成本。
部署	Docker / Docker Compose；資料庫支援 SQLite、MySQL、PostgreSQL，可搭 Redis。	可快速自架，但也代表要自己負責安全、備份、升級與密鑰治理。

什麼情境值得試？

同時接兩家以上 LLM provider，而且想要統一入口。
團隊需要共用 quota、追蹤 token / 成本、分組管理 API key。
需要 UI dashboard 給非工程師看用量、餘額、成本或模型限制。
希望自架 gateway，而不是把所有流量交給第三方雲端 proxy。
需要 provider 故障時自動 retry / fallback。

什麼情境先不用？如果目前只用單一 provider、沒有多用戶計費需求、不想維護額外服務，或主要想在 Python code 裡做 routing / proxy，new-api 可能太重；LiteLLM 這類 code-level / Python 生態優先工具可能更合適。

與 LiteLLM 的差異