分類：ai-agents-coding-agents

Databricks 真實 PR coding agent benchmark：模型不是全部，harness 與 context 管理會直接改變成本效率

Threads @ryy.dev 分享 Databricks 用內部真實 PR 建立 coding agent benchmark，重點結論是：模型能力、token 單價、task-level cost 與 harness/context 管理都要一起看；同模型同 effort 下，Pi harness 在部分組合可用約 3x 少 context per turn、成本便宜 1.2–2.08x 且品質接近。本文查證 Databricks 官方 benchmark 與 Omnigent meta-harness / GitHub，整理對 BigIntTech/Hermes agent ops 的啟發。