Vercel 又放出一个有意思的开源项目！ Agent Desktop：让 AI Agent 真正学会操作电脑。 以前 AI 操作电脑，基本靠截图识别，再模… · @QQTeng · TwKit

@QQTeng

Vercel 又放出一个有意思的开源项目！ Agent Desktop：让 AI Agent 真正学会操作电脑。 以前 AI 操作电脑，基本靠截图识别，再模拟鼠标点击。 问题是，按钮位置变了、窗口移动了，Agent 就容易点错。 Agent Desktop 换了一种思路： 直接读取操作系统的无障碍树，获取桌面应用的结构化信息，让 Agent 知道界面上有什么、控件在哪里。 主要能力： - 读取桌面应用的 UI 结构 - 获取控件信息和元素引用 - 通过稳定的元素引用执行点击 - 支持 macOS、Windows、Linux 最大的价值在于：让 AI 操作电脑，不再完全依赖截图和坐标猜测。 以前是 AI 看着屏幕瞎点，现在是 AI 先理解界面，再执行操作。 这才是 Computer Use 应该进化的方向啊！ GitHub： https://github.com/vercel-labs/agent-desktop

曝光 76 · 评论 3 · 点赞 1 · 书签 0