Agents / MCP / Skills
Google ARTEMIS：用自然語言驅動真機 Android，價值在 MCP 測試與可回放診斷
Google ARTEMIS 把自然語言、Android 真機控制、MCP、Logcat、截圖與執行回放串成端到端測試流程；本文查核 99%+ benchmark、Apache 授權及 Accessibility Helper／全域配置副作用。
2026年9月16日3 分鐘閱讀👁 5
Android Automation · MCP · AI Testing
ARTEMIS 的真正價值不是「幫你點手機」，而是讓 Coding Agent 對真機做可回放、可診斷的端到端測試
Google 開源的 ARTEMIS，可把自然語言轉成 Android 跨 App 操作，並透過 MCP 讓 Claude Code、Codex、Antigravity 等工具驅動實機或模擬器、收集 Logcat、截圖與執行軌跡。它同時提供 Web Console、CLI、Python SDK 與兩種執行模式。
定位校正：Threads 用「地圖設路線，再開 YouTube 放歌」呈現一般使用者自動化；官方 README 的核心定位更偏向行動 App 測試與診斷。跨 App 操作是真的，但把它當個人手機助理會低估權限、安全與失敗恢復成本。
ARTEMIS 能做什麼
| 能力 | 實際用途 | 技術訊號 |
|---|---|---|
| 自然語言跨 App 任務 | 操作 Google Maps、YouTube、設定頁或待測 App 的多步流程。 | Accessibility hierarchy／元素索引優先，OCR、座標與視覺模型做 fallback。 |
| MCP 真機控制 | 讓 Coding Agent 安裝 APK、操作登入、重現 bug、抓截圖與 Logcat。 | 支援 Codex、Claude Code、Antigravity、Windsurf 等 MCP client。 |
| 可觀測測試 | 保留執行 timeline、螢幕錄影、action trajectory、原始資料與最終報告。 | Web Console、trace、replay 與結構化結果，不只是「成功／失敗」。 |
| 自動化整合 | 接 pytest、CI/CD 或內部測試平台。 | CLI、FastAPI、Python SDK 與 Pydantic 結構化輸出。 |
Flash 與 Pro：不是同一種成本模型
Flash
單模型 observe–think–act 迴圈，官方描述通常每步約 3–5 秒；適合例行、相對確定的 UI 流程。沒有完整計畫、checkpoint verifier、最終報告或 ADB shell。
Pro
Planner、Operator、read-only Checker 的多 Agent graph；每個動作前可做 Safety Net，支援 checkpoint／final review、ADB 診斷與長流程。官方描述通常每步約 15–40 秒。
「AndroidWorld 99%+」應怎麼看
Google 官方 repository 的 README 確實聲稱：ARTEMIS 在 AndroidWorld 的 20+ Apps、100+ 多步任務上達到 99%+ completion rate。這不是 Threads 作者杜撰。
但仍屬官方 repo 自述：README 目前主要提供 leaderboard 圖片與結果敘述，沒有在同一處完整列出每個 task、模型版本、重跑次數、失敗案例、成本與可直接重現的逐題結果。因此應寫成「官方聲稱／repo reports」，不能推論成任意真實 App、任意語言、任意裝置都會有 99% 成功率。中文 prompt 是否穩定，也取決於所選模型與 App UI，官方 benchmark 並未特別證明中文指令等同 99%。
安裝前要知道的副作用
- 主機需求：Python 3.12+、ADB、scrcpy、FFmpeg、uv；Web UI build 還可能需要 Node.js 22。
- 啟動腳本會安裝工具：
start.sh可能透過 Homebrew／Linux 套件管理器安裝 ADB、FFmpeg、scrcpy、Node，缺 uv 時會執行 Astral 安裝腳本。