CLI 一共发布 60 个命令名,其中 56 个是实际可执行的命令。其余 4 个——key-down、key-up、
mouse-down、mouse-up——在有守护进程能够可靠释放被按住的按键或鼠标键之前会拒绝运行。
每个平台上命令名都是同一套,能力边界则不同。
agent-desktop <command> --help # 单条命令的参数
agent-desktop skills get desktop # 循环、ref、验证与重试规则
agent-desktop skills get platform # 你这个平台上的差异观察
读取界面,产出带 ref 的 JSON。
| 命令 | 作用 |
|---|---|
snapshot |
读一棵可访问性树,给每个可操作元素附一个 ref |
find |
按条件在树里找元素 |
get |
读一个元素的某个属性 |
is |
判断一个元素是否处于某种状态 |
screenshot |
截图 |
list-surfaces |
列出当前可寻址的界面 |
常用 flag:-i(只要可交互元素)、--skeleton(只要结构)、--root <ref>(下钻)、
--compact(压缩输出)、--app <name>、--window-id <id>。
对 ref 执行操作
这一组的对象永远是某个快照里的 ref,走可访问性 API,默认不移动指针也不夺取焦点。
| 分类 | 命令 |
|---|---|
| 点击 | click、double-click、triple-click、right-click |
| 文本 | type、set-value、clear |
| 选择 | focus、select、toggle、check、uncheck |
| 展开 | expand、collapse |
| 滚动 | scroll、scroll-to |
键盘与鼠标
press、hover、drag、mouse-move、mouse-click、mouse-wheel。
另有 key-down、key-up、mouse-down、mouse-up 四个命令名已发布但会拒绝运行,
原因见错误与恢复。
物理输入需要全局 --headed;无头调用依然禁止激活前台窗口和合成输入。
应用与窗口
launch、close-app、list-apps、list-windows、list-displays、focus-window、
resize-window、move-window、minimize、maximize、restore、open-system-surface。
通知
list-notifications、dismiss-notification、dismiss-all-notifications、notification-action。
剪贴板
clipboard-get、clipboard-set、clipboard-clear。
等待
wait —— 等到某个元素的某个值变成什么,比反复快照更省上下文。
agent-desktop wait --element @s8f3k2p9:e6 --predicate value --value 7会话
session、trace、cursor-overlay。见会话与追踪。
系统
status、permissions、version、batch、skills。