Overmind小模型客服分類查核：36.7%到84%、23分鐘與自架雲端界線
追到官方1,000筆訓練、300筆測試案例，區分47.3個百分點與通用能力；補核英語BANKING77、AGPL平台／MIT SDK、Qwen授權及Modal／AWS／OpenRouter依賴。未重做訓練。
結論：窄任務微調案例，不是八億參數取代全部客服
這個Google分享連結實際導向AI郵報的Threads，並連到其2026-10-29文章。原文已說明這是Overmind官方單一案例，而非媒體重做實驗。本文追到官方公開貼文、固定平台原始碼、Qwen模型卡與BANKING77資料卡，再將可核事實、廠商成績與導入建議分開。[1][2]
合理的啟發：有固定類別、可核對答案及高重複量的工作，可以評估專用小模型；但此處的84%是客服訊息意圖分類，不是開放問答、工具使用、退款判斷或整套語音客服的成功率。
數字已找到官方出處，但沒有獨立重現
| 項目 | 官方報告 | 界線 |
|---|---|---|
| 模型 | Qwen 3.5 0.8B | 是任務微調示範，未由本文確認實際訓練checkpoint與完整設定 |
| 訓練資料 | 1,000筆支援訊息，指向banking77 | 不能直接當成臺灣真實客服資料的代表性樣本 |
| 準確率 | 36.7%→84.0% | 差47.3個百分點；不是只提升47.3%的相對增幅 |
| 測試規模 | 後續官方貼文稱300筆訊息 | 未取得逐筆預測、抽樣seed、類別分布與完整測試清單 |
| 耗時 | 23分鐘，從啟動到模型可用 | 不是保證資料蒐集、去敏、標註、部署整合全部23分鐘完成 |
官方結果貼文與後續300筆補充，已由X公開syndication核對帳號、ID與文字；方法貼文另經第三方公開擷取恢復。主示範貼文時間為2026-10-26 17:45:09 UTC，即台北2026-10-27 01:45:09。後續用37%概述36.7%，不能因此當成第二場獨立實驗。本文用程式核算47.3個百分點，沒有執行訓練、部署或模型請求。[2]
最重要的資料條件：英語銀行意圖，不是所有客服
官方方法指向legacy-datasets/banking77。該資料卡已標示deprecated並建議PolyAI/banking77；本文保留原始識別碼，不暗中替換資料來源來聲稱重現。PolyAI作者資料卡描述這是英語、銀行單一領域、77種細分類意圖的分類資料，並標示CC BY 4.0。[3]
所以對繁體中文、臺語語音辨識後的口語訊息、餐旅客服或新的未知意圖，都需要另做測試。模型在300筆資料的整體分數，也不能保證每一類的召回率或高風險案件漏接率。
「本次微調沒用到的訊息」不等於已證明基礎模型預訓練從未接觸公開BANKING77。公開貼文不足以讓本文驗證預訓練污染、重複樣本、測試調參次數或完整公平對照；這些仍是未解的實驗條件，而不是已發現作弊的證據。
Overmind串的是資料、評估、訓練與服務化
固定README把Overmind定位為專用Agent訓練平台：將production traces或上傳資料整理成版本化資料集，定義評估、微調、比較並服務模型。它有Console、CLI、REST API與MCP等入口；支援和Cursor、Claude Code、OpenCode、Codex整合，不等於這些工具的訂閱自動支付GPU訓練費。[4]
traces只是當時發生的紀錄，不天然是正確訓練標籤；若把錯誤答案或洩漏的評估題直接轉成訓練資料，流程自動化不能替代資料治理。微調會產生訓練後的參數／權重成果，也不同於只修改聊天記憶或prompt。
官方README表示權重可下載、重訓或回退；本文核對的是這項產品聲明，沒有驗收實際權重匯出、託管端點、回退成功或端到端服務品質。
自架不是預設完全離線，更不是零雲端成本
查核提交fe6ddf78c71eec7d7c4bf5e0142cea190c60898b的README列出OpenRouter評估／模型服務、Modal訓練與推論worker、AWS checkpoint archive等設定。Compose的微調backend預設為Modal，因此單純啟動本機平台，不等於已獲得不需外部運算、憑證或費用的訓練環境。[4][5]