開源 LLM 路由器來了：用交易演算法選 AI 模型

基本資訊

作者: meow.coder
來源: Threads
發布時間: 2026-03-07 07:02（3 小時前）
觀看數: 658
社群反應: 5 讚、1 則留言、4 分享
原文連結: Threads

核心概念

開源 LLM 路由器

OpenRouter、Martian、Unify 都是閉源或拿 VC 錢的，現在有一個 MIT 授權的開源方案。

技術基礎:

用 Thompson Sampling 做自學習模型選擇
用 Berkeley ARBITRAGE 論文做優勢感知切換
甚至還有能源估算

核心功能

1. Thompson Sampling 自學習模型選擇

演算法: Thompson Sampling（多臂老虎機演算法）

作用: 自動學習哪個模型在哪種情境下表現最好

2. ARBITRAGE 優勢感知切換

來源: Berkeley ARBITRAGE 論文

作用: 感知模型優勢，智慧切換

3. Best Execution 交易式評分

評分維度:

延遲（Latency）
成本（Cost）
品質（Quality）
成交率（Fill Rate）

靈感: 金融交易系統的最佳執行策略

4. Energy Oracle

功能:

算每個請求的焦耳數、瓦時、CO2

應用: 企業 ESG 報告

5. Semantic Cache

省錢:

省下 50-90% 重複查詢成本

機制: 語意相似的查詢直接返回快取結果

競爭優勢

vs 閉源競品

競品:

OpenRouter（閉源）
Martian（閉源或 VC 資金）
Unify（閉源或 VC 資金）

優勢:

直接 MIT 授權開源

實用功能

自動檢測任務類型

分類:

Coding
Research
Creative

作用: 根據任務類型選擇最適合的模型

Shadow Mode

功能:

比較不同路由決策

應用: A/B 測試路由策略

GDPR 相容的隱私設計

特色: 符合歐盟資料保護法規

靈活的存儲選擇

支援:

Memory（記憶體）
SQLite
Postgres

優勢:

沒有 vendor lock-in

賽道觀察

LLM 路由器的演進

過去: 單純比價

現在:

多維度評分（成本、延遲、品質、能源）

形態:

從閉源 SaaS 到開源 self-hosted

Energy Oracle 的戰略意義

Energy Oracle 這個功能特別有意思，每個請求算能源消耗和 CO2 排放，企業 ESG 報告可能會需要這種數據。

專案背景

來源

這個專案來自 Astrai 產品的生產系統，現在抽出來開源。

意義: 經過生產環境驗證

核心問題

你需要路由器嗎？

問題來了：你的 AI stack 需要路由器嗎？還是直接用最強的 model 就好？

答案:

如果在乎成本、能源、隱私，這種工具會越來越重要。

社群討論

oso_cy（2 小時前）

疑問:

「這跟 OpenRouter 那種的服務不一樣吧？」

關鍵洞察

1️⃣ Thompson Sampling 在 LLM 路由的應用

原理: 多臂老虎機演算法，平衡探索（Exploration）和利用（Exploitation）

在 LLM 路由的應用:

探索：嘗試不同模型
利用：選擇表現好的模型
自學習：隨時間調整策略

💡 教訓: 金融/統計演算法可以遷移到 AI 領域

2️⃣ 交易系統的 Best Execution 理念

金融交易: 在延遲、成本、成交率之間找平衡

LLM 路由: 在延遲、成本、品質、成交率之間找平衡

啟發: 成熟領域的經驗可以借鑑

💡 教訓: 跨領域借鑑是創新的捷徑

3️⃣ Energy Oracle 的前瞻性

功能: 計算每個請求的能源消耗和 CO2 排放

應用場景:

企業 ESG 報告
綠色 AI 倡議
成本優化（能源成本）

趨勢: AI 的環境影響會越來越受重視

💡 教訓: 環境因素會成為 AI 選型的考量

4️⃣ 開源 vs 閉源的競爭

閉源優勢:

有 VC 資金
快速迭代
企業級支援

開源優勢:

MIT 授權
無 vendor lock-in
社群驅動
可自主部署

勝負關鍵: 隱私、成本、控制權

💡 教訓: 隱私敏感領域，開源更有優勢

5️⃣ Semantic Cache 的高效

效果:

省下 50-90% 重複查詢成本

原理: 語意相似的查詢返回快取結果

價值: 在重複性高的場景（客服、FAQ）特別有效

💡 教訓: 快取是成本優化的殺手鐧

6️⃣ 「直接用最強的 model」的反思

問題:

直接用最強的 model 就好？

反駁:

最強 ≠ 最合適
成本可能過高
能源消耗大
隱私風險

結論: 路由器在多維度優化時有價值

💡 教訓: 最強不一定最好

7️⃣ 生產系統抽取開源的模式

來源:

這個專案來自 Astrai 產品的生產系統，現在抽出來開源

優勢:

經過生產驗證
不是玩具專案
有實際案例

模式: 公司產品 → 抽取核心 → 開源

💡 教訓: 生產驗證的開源專案更可靠

與其他文章關聯

LLM 工具生態系列

相關文章:

#124: Google Workspace CLI（100+ Skills）
#143: Apify Agent Skills（AI 爬蟲）
#146: 開源 LLM 路由器（本文）

共同主題: LLM 應用生態的工具化

實戰應用

適合的場景

多模型策略:

同時使用多個 LLM 供應商
需要成本優化

隱私敏感:

不想依賴單一供應商
需要自主部署

ESG 報告:

需要追蹤能源消耗
企業永續發展

技術選型

Thompson Sampling: 適合探索-利用權衡

ARBITRAGE: 適合優勢感知切換

Semantic Cache: 適合重複查詢多的場景

開源 LLM 路由器來了：用交易演算法選 AI 模型

基本資訊

核心概念