Agents / MCP / Skills
ToolRush:Hermes Agent 工具呼叫加速,macOS 實測亮眼但 PR 尚未合併
ToolRush 以 warm shell、native read/search 與 parallel RPC 降低 Hermes Agent Tool-Call Tax。macOS fork 宣稱 terminal 中位延遲 5.72×、批次搜尋 7.97×;本文查核 PR 仍未合併、數據為作者自報且插件深度 patch runtime,建議隔離 profile A/B 測試,勿直接裝入主力 default profile。
2026年9月7日2 分鐘閱讀👁 6
Hermes Agent × Tool Performance × macOS
ToolRush 是針對 Hermes Agent 工具層延遲的第三方 MIT 外掛,透過 persistent warm shell、原生 read/search fast lane 與批次並行 RPC 降低「Tool-Call Tax」。macOS 移植已公開,但目前仍是 fork 與上游 未合併 PR,不應直接裝進 Allen 的 default profile。
來源與查核
貼文數據與查核結果
| 項目 | 貼文/PR 數據 | 判讀 |
|---|---|---|
| Terminal 中位延遲 | 45.57 → 7.96 ms,5.72× | PR 內有 10 輪 warm benchmark;p95 只有 1.53×,不能把中位數當所有情境。 |
| Raw bash | 3.08 → 1.07 ms,2.88× | 只量 shell 執行層,不代表完整 agent turn。 |
| 4 組 search_files | 230.50 → 28.92 ms,7.97× | 比較 warm sequential 與 parallel batch;同時包含批次並行效益。 |
| 行程樹清理 | POSIX setsid/killpg | 方向合理,可改善取消/timeout 後 orphan processes;仍需在 Allen 實際工作負載重測。 |
重要 caveat:這些 benchmark 是作者/貢獻者在特定機器與 Hermes v0.21.0 的自報證據,尚未由 Allen 獨立重跑。Tool-heavy 回合可能明顯受益,模型思考、網路 API、遠端工具與純聊天回合不會獲得同倍率提升。
它如何加速
- Warm shell:重用持久化 bash,減少每次 terminal cold spawn。
- Native read/search:避開昂貴 shell 包裝,但仍保留檔案邊界、安全 guard、二進位/文件路由與 rg semantics。
- Parallel RPC:一次批次送出 1–16 個唯讀操作,最多 4 workers;拒絕 writes 與 terminal 並行。
- Fail-closed:不符合加速條件的操作回退原生循序路徑,不應因加速器拒絕而丟失任務。
- Compatibility patches:用外掛在記憶體中套入多個 function-level patch;未知 upstream drift 時降級。
為什麼現在不直接裝 default profile
- macOS PR #1 查核時仍為 open / unmerged。