让 Agent 操作桌面，vercel-labs 的 agent-desktop 走的是另一条路：不看截图。 它直接读系统的无障碍树，界面上每个按钮、每个输… · @wei_wang · TwKit

@wei_wang

让 Agent 操作桌面，vercel-labs 的 agent-desktop 走的是另一条路：不看截图。 它直接读系统的无障碍树，界面上每个按钮、每个输入框都有一个 ref。Agent 对着 ref 点，点完再拍一次快照确认。界面一变，旧 ref 会直接报错，不会点错地方。 默认在后台跑，不移动鼠标也不抢焦点，人照常用电脑。用 Rust 写的，macOS、Windows、Linux 都支持。 我觉得这条路比截图稳，也更省 token，一段 JSON 比一张截图便宜得多。代价是要看 App 自己的无障碍做得怎么样，做得差的界面它也看不清。 安装一行：npm i -g agent-desktop

曝光 29 · 评论 2 · 点赞 0 · 书签 0