AI Engineering
Google Agent Quality Flywheel：開發 AI Agent 不能只 vibe-check，要把 prompt 改動接上 eval 與 production traces
Google 提出 Agent Quality Flywheel：Build & Test → Ship & Monitor → Learn & Refine，並在開發端拆成 Prepare Data、Run Inference、Auto-Rate、Analyze、Optimize。重點是用工程數據判斷 agent 是否真的變好。
2026年6月30日1 分鐘閱讀👁 6
AI Agent × Evaluation
Google Agent Quality Flywheel：開發 AI Agent 不能只 vibe-check，要把 prompt 改動接上 eval 與 production traces
Google 這篇非常值得收：它把 agent 品質管理從「看幾個例子感覺變好」推向可重複的 eval flywheel。
核對提醒：已核對 Google Developers Blog 原文；這篇可作為後續 Hermes/agent workflow 評估方法參考。
官方框架
- 大循環：Build & Test → Ship & Monitor → Learn & Refine。
- 開發端五步：Prepare Data、Run Inference、Auto-Rate、Analyze、Optimize。
- 目標是避免 prompt 修一個 case、暗中弄壞十個 case。
為什麼重要
Agent 最危險的失敗不是明顯 crash，而是看起來有計畫、有自信，實際上偏離使用者目標。這種錯誤必須靠資料集、trace、評分器與回歸測試抓。
BigIntTech 可落地做法
- 每個 agent workflow 建 golden cases。
- 保存 production traces，標記成功/失敗。
- 每次改 prompt / tool / model 前跑 regression eval。
- 用自動評分 + 人工抽查，不只靠單次 demo。