同一模型換 Agent Harness 為何表現不同：Hugging Face 多框架 RL 實驗的正確解讀

Model × Tools × Harness × Evaluation

Agent 的實際能力不是模型權重單獨決定，而是整套執行系統的乘積

同一組模型權重放進不同 coding agent，會遇到不同工具 schema、上下文壓縮、重試、停止條件與控制流程。Hugging Face FineEnvs 的多框架強化學習實驗證明：小型開放模型可以學會跨多種 harness 工作，但公開數字只成立於指定模型、任務、訓練配置與評估條件。

LFM2.5-2.6BMulti-harness RLOpenCodeClaude CodeCodex

先講結論：Threads 引用的「42% → 54%」與「工具呼叫減少 31%」有官方實驗資料支持，但不是 Claude Code 與 Codex 的通用勝負，也不是任意模型都能複製的平均收益。它證明的是：harness 應列入模型訓練與企業選型的測試矩陣。

Harness 到底包含什麼

工具介面

工具名稱、參數 schema、回傳格式、是否採結構化 tool call。模型若記住某套方言，換工具可能在真正執行前就被拒絕。

上下文管理

歷史訊息如何壓縮、哪些 tool outputs 保留、何時重寫或截斷上下文，都會改變模型下一步看見的證據。

控制流程

重試、停止條件、自我檢查、rollback、漂移檢測與逾時政策，決定一次失誤會被放大還是修復。

執行環境

檔案系統、sandbox、shell、權限、網路與驗證器共同決定「回答看起來對」是否真的等於任務完成。

項目	官方設定	正確解讀
模型	LFM2.5-2.6B	是小型開放模型的 post-training 實驗，不代表所有 frontier model。
訓練任務	1,000 個 SmolDataEnvs；400 medium、600 hard	集中於一個 task family，不能直接外推到所有軟體工程工作。
評估	250 個 held-out tasks × 4 harnesses＝1,000 個 cell	每個 cell 的第一個 graded attempt 正確才算解出。
四種 harness	OpenCode、Claude Code、Codex、Mini-SWE-Agent	比較的是模型在不同執行框架中的行為，不是四個產品的總體排行榜。
pass@1	baseline 42.18%；multi-harness step 1,000 為 54.2%	增加約 12 個百分點；官方亦指出相鄰 checkpoint 的一兩點可能只是噪音。
工具呼叫	最終 checkpoint 在「base 與訓練後模型都解出的 held-out tasks」上少 31%	不是全部任務、成本或 latency 一律下降 31%。

社群說法	官方證據	更準確的表述
同一模型放進不同工具，表現差很多	FineEnvs 官方文章與其他研究案例均顯示 harness 會改變結果	成立，但幅度依模型、任務、工具版本與配置而異。
平均成功率 42% → 54%	LFM2.5-2.6B multi-harness run：42.18% → 54.2%	是指定 held-out test 的 pass@1，不是所有 coding agents 的平均值。
工具呼叫下降 31%	官方在兩模型都完成的 held-out tasks 上計算	代表這批共同成功任務更省工具呼叫，不能直接等同成本省 31%。
未來差距在 Agent System，不只 Model	與官方「benchmark scores now come with a harness attached」論點一致	值得採納為評估框架，但模型本身、資料與 verifier 仍同樣重要。