agent-desktop查核：用無障礙樹操作桌面，ref、背景模式與資料外送界線
核對Vercel Labs的CLI與C library、v1.0.2、ref送達與安全重試契約；修正不需截圖、Linux無頭、MCP只走API與多游標等過度簡化。未安裝或執行桌面操作。
結論：桌面操作工具，不是會自行判斷一切的Agent
vercel-labs/agent-desktop是真實的Vercel Labs組織下開源專案，提供Rust原生CLI及C library，透過作業系統無障礙樹觀察、操作桌面。它把可操作元素變成帶ref的結構化資料，供外部Agent規劃並呼叫；決策迴圈仍在呼叫端，不是裝好就自動理解並完成全部工作。[1][2]
可以減少截圖與座標猜測的依賴，但不是完全不需要視覺，也不是任何應用都能在背景操作。是否能完成動作，仍取決於應用暴露的無障礙資訊、平台能力與權限。本文沒有安裝CLI、授予桌面權限、操作私人應用或替換現有computer-use工具。
來源與版本：社群公告日不等於第一個版本
已讀取原帖、作者一則續文與可見留言，留言coverage為partial；相關推薦串文已排除。本帖介紹Chris Tate於10月31日發布／介紹工具，但GitHub release資料已列出10月28日UTC的v1.0.0。查核時release清單最高為v1.0.2，發布時間2026-10-30 21:17:30 UTC，即台北10月31日05:17:30；不要把公告聲量日期當作首個公開版本。[1][3]
本文固定原始碼提交9eb9b296192fcb70bda25e918cd6dd66abfa3d0d；該版npm/package.json為1.0.2。README範例JSON中的version: 2.5是輸出契約版本，不是套件升到2.5，也不代表本次已安裝這個版本。[2][4]
核心操作：snapshot → ref動作 → 再觀察
小型視窗可直接取互動元素snapshot；密集應用可先用skeleton取得淺層結構，再用root ref深入局部。工具回傳如@s8f3k2p9:e8的完整識別碼。只給裸@e8會被拒絕；ref歸屬特定snapshot及session namespace，不能當成跨畫面、跨會話永久有效的按鈕ID。[2][4]
畫面改變後應重新觀察相應區域。STALE_REF表示舊證據不再足以辨認目標；AMBIGUOUS_TARGET表示有多個可能目標，應縮小視窗、角色、名稱或範圍，不能猜一個繼續。snapshot的ok: true也可能伴隨complete: false，呼叫端必須處理部分觀察，不能把未讀到當成不存在。[4][5]