ESP32让AI Agent低成本操控iPhone
AI科技 · 12 篇公开推文 · 10 位作者 · 曝光 507056 · 评论 329 · 点赞 3934 · 书签 4859
开发者展示用ESP32硬件模拟触屏,让AI Agent操作iPhone,强调低成本且不依赖越狱或Mac。推文分享了开源项目、设备选型和应用尝试,也引出自动化能力与使用限制的讨论。
创作角度
- AI Agent借助ESP32模拟触屏控制iPhone,成本与技术门槛有多低?
- 无需越狱、Mac或开发者账号的方案,哪些限制仍需验证?
- 从自动点屏到操作外卖等应用,Agent控制手机的实际用途有哪些?
- 开源控制项目会带来哪些权限与安全考量?
相关公开推文
终于搞懂大家为什么都在折腾 ESP32 了。花 50 块钱买块小板子,不用越狱也不用 Mac,直接接管 iPhone 自动点屏幕。这种低成本硬核玩法,难怪全在玩 https://github.com/onehumanbeing/esp32-iphone-agent
曝光 118451 · 评论 38 · 点赞 1276 · 书签 1809
查看原帖🎉全体起立!牛逼!iPhone Use 已经被实现了。这妥妥的物理外挂啊 你只需要一块几十块的 ESP32,即可实现全自动控制 iPhone !!
曝光 73374 · 评论 20 · 点赞 323 · 书签 333
查看原帖ESP32-S3 开源项目盘点,上手就能直接玩🔥 因为我之前买了 ESP 32 的开发版,所以我就整理了 3 个比较热门的开源项目 涵盖的方面,从 AI 语音助手到智能眼镜,再到智能家居,每一个都有 最喜欢的还是小智 AI 1、小智 AI:3.1 万 Star 目前很火的 ESP32 AI 语音机器人,立创实战派 ESP32-S3 已经有现成适配,直接上手就能玩 烧录也简单 而且官方的资料是最齐全的 1、支持语音唤醒、实时对话、屏幕表情 2、接入 Qwen、DeepSeek 等大模型 3、通过 MCP 控制灯光、电机和其他设备 这是我最想做的产品之一,可以做一个能看能听还能玩的 AI 桌面小助手 2、Omi Glass:1.37 万 Star 这个项目也比较有意思,直接用 ESP32-S3 做 AI 智能眼镜,但是需要搭配眼镜硬件来一起玩耍,不行的话 也可以用开发板里面的摄像头 1、摄像头获取第一视角画面 2、配合 AI 模型识别和理解物体 3、支持语音记录、AI 交互等玩法 这里就有门槛了:需要 XIAO ESP32-S3 Sense 等配套硬件,如果手上刚刚好有现成的设备 完全可以用起来 3、ESPHome:1.18 万 Star 如果你是智能家居老玩家,这个项目是不是名字有点耳熟?如果你想让 AI 真正控制家里的设备,这个项目就是你所期待的 1、YAML 配置传感器、灯光和继电器 2、接入 Home Assistant 实现自动化 3、支持 ESP32-S3 语音助手等功能 其实优秀的项目还有很多,但是比较全面还是第一个小智 AI,其他两个是我比较喜欢的方面,一个是随身硬件设备 还有一个是物联网家居 说实话 现在有 AI 玩硬件真的简单了太多,以前都要去啃对应的手册 然后自己去写 C 语言的代码,对应的库还要自己去下载整理 大家可以期待一下我后面的作品,我也是把自己老本行捡起来玩了
曝光 50578 · 评论 26 · 点赞 552 · 书签 718
查看原帖盘点热门的 AI Agent ESP 32设备,总有一款适合你🔥 看最近 ESP 32 设备在 X 上比较,很多人都蠢蠢欲动,但是不知道买什么型号或者是什么类别,我这里就盘点了一下不同价格区间的品类 你自己根据需求挑选,每一个价格阶段都有,不管是想直接上手 还是想自己 DIY 设备,能用最少的钱选到自己心仪的设备 一、入门版:普通 ESP32 开发板(20~50 元) 拼多多搜 ESP32 开发板就能找到,带 Wi-Fi、蓝牙,还有 GPIO 接口 1、控制 LED、舵机、电机和各种传感器 2、做智能开关、自动浇花、遥控小车 3、通过网络接入 AI,让 Agent 控制真实设备 适合高级 DIY 玩家,或者只是想要一个连接 AI 的设备尝鲜的玩家 二、进阶版:立创 ESP32-S3 实战派(128~148 元) 型号 LCKFB-SZPI-ESP32-S3-VA,硬件配置比较完整,我买的就是这一款,基本上屏幕、蓝牙、AI 硬件加速、语音模块、摄像头都包含在里面 1、双核 240MHz,16MB Flash + 8MB PSRAM 2、2 英寸触摸屏、双麦克风、1W 喇叭 3、30 万像素摄像头、姿态传感器、AI 向量加速指令 4、支持语音唤醒、图像识别,还能接入小智 AI 适合做带屏 AI 语音助手、桌面机器人、智能家居控制面板,如果想一套直接解决的 可以选这一个,现在新用户首单还能减 20 3、Plus 版:Sipeed MaixCAM2 如果想真正折腾本地 AI 视觉,可以直接升级到这类硬件,这就是 plus 豪华版,相当于一个小型的主机 1、最高 4GB 内存,独立 3.2 TOPS NPU 2、最高支持 4K 摄像头、2.4 英寸触摸屏、双麦克风 3、支持 Python 开发、YOLO 目标检测及离线 AI 推理 适合做智能监控、物体识别、视觉机器人等项目,是一些高级玩家的首选,有钱的大佬如果觉得麻烦 也可以直接上 我的建议是,如果你只是玩一玩 那就可以去拼多多买一个硬件,总共也才二三十块钱就可以体验到 AI 对接硬件的快乐 如果你是和我一样想全面地折腾一下硬件 这个 Agent 到底能玩成什么花,那就可以尝试后面两款,整体价格其实也不贵
曝光 47097 · 评论 24 · 点赞 223 · 书签 289
查看原帖又优化了一下这个方案:一块 7 美元的 ESP32,让 AI 直接操控一台原装 iPhone。这个方案的优势是什么都不依赖:不用 Mac、不用开发者账号、不越狱,手机上也不用装任何东西。 例子:一句话让它定一个每天重复的早上 7 点闹钟,22 步全是它自己点的(红色部分) 再往后想,如果把板子换成一块能跑 Linux 的小芯片,它自己就能接收投屏、调用云端模型,连电脑都不用了,一块硬件就够,还可以做成手机壳。
曝光 25097 · 评论 16 · 点赞 207 · 书签 191
查看原帖🔥 紧跟时事热点,ESP32-S3 已下单,做了一晚上的功课,正式入坑 AI 硬件 等不到双十一了 我有直觉这玩意儿要被卖断货,昨天做功课看的时候销量 5000+,今天就 6000+了
曝光 23145 · 评论 13 · 点赞 34 · 书签 50
查看原帖发现宝藏了!目前最牛逼的iPhone Use开源库: ICTRL 仓库地址在评论区。 直接让电脑或手机上的 Agent 操控 iPhone 里的各种 App,不用去买豆包手机了!惊叹苹果的生态真牛逼! 几个让我惊喜的点: 1. 比通过 Mac「iPhone 镜像」间接操作手机快很多 2. Mac、Windows 上的 Coding Agent,都可以通过局域网 Wi-Fi 操控 iPhone 3. 甚至不需要电脑:在 iPhone 上用 Minis App(也是一个 Coding Agent),就能直接操作这台手机 怎么用: 1. 安装完成后,直接在对话里点名使用 ictrl-phone-control skill,就能触发手机控制 2. 手机端Minis app第一次使用下面提示词: ``` 这台 iPhone 已启动 iCTRL,服务地址是 127.0.0.1:8200。 请读取 http://127.0.0.1:8200/skill,按照其中的说明连接本机 iCTRL,然后打开天气,告诉我今天的天气。 ``` 不过,目前有一些坑: ① 安装门槛比较高,需要耐心。建议把 README.md 丢给 Agent,让它带着你一步步安装。 ② 手机的局域网 IP 变化后,连接可能失败。目前配对信息保存在 ~/.ictrl/token.json,读到的可能还是上次的 IP。这时需要手动把 iCTRL 当前显示的监听地址告诉 Agent。 3. 有些手机app会有防御,由于底层用的是测试框架,例如淘宝app就会检测,频繁让你重新登录,这些app就不要使用了 仓库地址放评论区 👇 附件为看天气,看滴答清单,看宝玉哥今天的推特内容(当然都是可以通过电脑上的网页端获取,这里故意用这些任务,使用手机上的相关app来展现 iCTRL的能力)
曝光 19401 · 评论 16 · 点赞 154 · 书签 240
查看原帖斥巨资已拿下🎉 ESP32 万能小板子,Claude 的小玩具 我要看看能不能连上我的 Claude 然后放在我的桌面上!!
曝光 18796 · 评论 12 · 点赞 42 · 书签 25
查看原帖你对 ESP32 一无所知 很多人说 ESP32 属于微型控制器 (MCU),跟树莓派单板电脑根本不能比,这种说法已经过时 乐鑫 (Espressif) 今年七月份发布了 RISC-V 架构的 ESP32-S31,它已经能够运行 Linux,并且正逐渐接近树莓派(Raspberry Pi)的定位 这块芯片搭载了两个运行频率高达 320 MHz 的 32 位 RISC-V 核心(带 FPU 和 SIMD 数据路径)以及一个 40 MHz 的低功耗核心 更重要的是,它引入了真正的 MMU(内存管理单元),支持 Sv32 两级页表地址转换,这是运行完整 Linux 内核的关键 下面仓库是 Linux 6.18 移植到这块芯片的源码树 https://github.com/espressif/linux/tree/integration/v6.18-esp32s31 P2 是真机启动截图,视频链接见评论区⬇️
曝光 17636 · 评论 10 · 点赞 125 · 书签 118
查看原帖