推文

@divid_lu49394 · 2026-10-10 02:48

前豆包桌面端产品经理钟二信开源了 iPhone Use，让 Codex 可以直接操作真实的 iPhone。用户只需用自然语言下达任务，Codex 就能打开 App、读取页面、点击、滑动、输入中文，还能搜索和整理列表。整个操作过程可以在 Codex 侧边栏实时查看。 项目底层使用 Appium 的 WebDriverAgent（WDA），这是一个基于苹果 XCTest 测试框架的手机自动化工具。开发者先通过 Xcode 在 iPhone 上安装 WDA，再通过 Mac 上的 MCP 服务，将 Codex 的指令发送给手机，由 WDA 执行点击、输入等操作。无需越狱，也不用单独部署 Appium Server。 为了减少 AI 反复看截图的开销，iPhone Use 优先读取系统提供的界面控件信息，直接识别按钮文字、位置和状态。遇到无法识别或被遮挡的控件，再返回截图，让模型判断点击坐标。它还支持批量执行连续操作，减少模型调用次数。侧边栏的实时画面则通过 WDA 的独立屏幕流获取，无需反复截图。 目前 iPhone Use 的官方教程仍要求通过 USB 连接手机，首次使用需要通过 Xcode 签名并安装 WDA。苹果支持无线调试，WDA 也可以通过网络访问，但该项目尚未提供完整的无线连接配置方案。

曝光 7 · 评论 0 · 点赞 0 · 书签 0