终于有让 AI 不用总靠截图和坐标操作电脑的方法了！ Vercel Labs 开源 agent-desktop：读取系统无障碍树，让 Agent 通过控件 … · @CY160909 · TwKit

@CY160909

终于有让 AI 不用总靠截图和坐标操作电脑的方法了！ Vercel Labs 开源 agent-desktop：读取系统无障碍树，让 Agent 通过控件 ref 定位按钮、输入并回读结果。 常见的Computer Use，是让 AI 看截图、找按钮，再按坐标点击。 agent-desktop 则能直接识别可操作的控件，减少对像素位置的依赖。窗口位置变了，也不必只靠旧坐标找按钮。 项目：https://github.com/vercel-labs/agent-desktop

曝光 162 · 评论 1 · 点赞 1 · 书签 0