卧槽，我终于看到一个不靠截图猜坐标的电脑操控工具了，Vercel Labs 刚推到 1.0.2 的 agent-desktop，思路简单粗暴到让我有点服气。… · @sirHe12 · TwKit

@sirHe12

卧槽，我终于看到一个不靠截图猜坐标的电脑操控工具了，Vercel Labs 刚推到 1.0.2 的 agent-desktop，思路简单粗暴到让我有点服气。 它不干那种把屏幕截图丢给视觉模型、让人家猜按钮在哪个像素的事，而是直接问操作系统要无障碍树：这个窗口里有啥子按钮、输入框，每个能点的东西叫啥子、能干啥子，系统原话告诉它，返回一串带编号的 JSON。Agent 的活法也因此变得特别老实，先 snapshot 看一圈，挑个编号 click 点下去，再 snapshot 一次核对结果，对不上就重拍，整个循环都在你自己的 agent 里，不用再为一次点歪返工烧 token。 先说清楚，我没亲测全套，这是今天扒完仓库页和 README 得出的结论，今天中午我去看的时候仓库是 7,037 个 star、517 个 fork，Apache-2.0 白给，Rust 写的 CLI 加 C 库，macOS、Windows、Linux 都能跑，命令足足有 60 个。跑起来也不绕，装完先拿状态和自带教程探探路：npm install -g agent-desktop，agent-desktop status，agent-desktop skills get desktop，然后 snapshot --app Finder -i 看一圈，click @s8f3k2p9:e8 点一个编号，再 snapshot 一次验货，这就是它 README 里原生的演示套路。 坑我也先给你标出来，免得你兴冲冲装完就骂街。它自己里面没有模型，装完不等于就有了个能干活的 agent，循环得你自己的 agent 来驱动，别把它当开箱即用的聊天助手。Mac 上要开辅助功能权限，而且权限是给到跑它的那个终端的，你用哪个终端跑就得给哪个，别稀里糊涂全给了。编号只属于当次快照，界面一变就可能报过期或指不准，正确姿势是重新 snapshot 再拿新编号，别拿着旧编号硬点。它默认是静默干活，不动你的鼠标、不抢焦点，想要真动手得显式加 --headed；网页它也不管，网页自动化还得找它兄弟 agent-browser，别拿它去点网页然后说它不好使。快照和剪贴板里可能有你桌面的私货，别随手往公开日志里贴。最后项目方自己报的省 token 数我先存疑，什么单区域快照 273 个 token 对整窗 3,811、52 步任务从 198k 降到 31k，那是他们自家的模拟账，不是我的实测，你当个方向参考就行。 适合谁嘛，就是那种想让 agent 替自己操作原生桌面软件、又受够了截图猜坐标翻车的人，或者做桌面自动化测试、想拿结构化结果而不是像素玄学的人。反正一句话，别再让你的 agent 对着屏幕瞎猜了，先让它把按钮认清楚再动手，省下来的 token 和返工，够你多喝两杯奶茶了嘛。

曝光 89 · 评论 2 · 点赞 2 · 书签 0