ESP32 控制手机 · 技术路线图
目标:一块 ESP32-S3 AMOLED 控制板,插在被控手机上,实现投屏 / 模拟点击 / 结果回传,AI 助手一句话派活。
更新:2026-11-08 · 状态:主链路已跑通
① 架构总览:三层算力分工
设计原则:边缘优先——能在手机本地处理的绝不上云,能在板子上处理的绝不过手机。云端只做手机做不了的事。
第 1 层 · ESP32-S3 板子 执行器 · 硬件级
USB HID 键鼠(模拟点击/拖拽/输入,硬件级零延迟)· CDC 串口控制台(全双工指令+回传)· AMOLED 屏(状态显示)· WiFi(OTA + 云直连通道)· BLE(无线中继备份)
第 2 层 · 被控手机 本地智能 · 毫秒级
内置 v11 ONNX 检测模型(INT8 3.4MB,~50ms/帧)· 本地自主闭环(识别→选目标→经板子 HID 执行)· 屏幕共享管道(MediaProjection 帧流)· 云中继(App 代理板子上云)
第 3 层 · 云端 兜底 · 只干手机干不了的
龙虾 AI 助手(语义级任务规划派活)· 114 精检测服务(四通道融合,本地模型兜底)· CDN 模型分发 · 任务状态库与回执
② 一次点击的完整旅程
快路径 · 手机本地闭环(~200-500ms,网络零依赖)
共享画面帧 → 手机内置 v11 模型推理(50ms) → 置信度 ≥0.35?
→ 是 → 手机下发 USB HID 坐标 → 板子执行 → 新帧核验 ✓
中路径 · 云端兜底(~1.3s)
本地置信度不足 → 帧上传 106 → 114 四通道精检测(v8+v10+OmniParser×2)
→ 坐标回传 → 板子执行 → 核验 ✓
慢路径 · 龙虾语义派活(秒级~十秒级)
"帮我把蓝牙打开" → 龙虾规划多步 → 逐步下发 → 每步快/中路径核验 → 微信回执 ✓
③ 当前实测数据
~50ms手机本地推理/帧 (INT8)
1.3s云端四通道检测(热态)
~7sADB 过渡全闭环(实测)
82 个本地检测元素/帧上限
3.4MB内置模型体积(INT8)
0.667v11 mAP50 (4090·150ep)
④ 技术路线演进
| 阶段 | 方案 | 状态 | 说明 |
| 路线 A | ADB 直连过渡 | 已跑通 | 截屏→检测→点击 ~7s,验证大脑与决策可行性(脚手架,仅开发调试) |
| 路线 B | 板子 USB + 手机中继 | 主链路已通 | USB HID 点击 ✓ · 屏幕共享 ✓ · 云中继 relayOnline=1 ✓ |
| 路线 C | 板子 WiFi 直连云端 | 通道已备 | 106:9287 公网入口已部署;direct 模式已定位(不经 App 的直连路径) |
| 路线 D | 板子截屏("直接画面"终态) | 规划中 | 移植 USB-ADB 桥(水墨屏血统 NCM+5555 已验证可行)或 direct 模式 |
⑤ 已交付的关键成果
- v11 专精检测模型:RTX 4090 训练 12 分钟(150ep),INT8 量化 3.4MB,内置进 App,本地零依赖推理
- vc48/vc50 App:内置模型优先加载(不用云端下载)、被控页新增「本地自主模式」卡片(推理看板+测试点击)
- 云通道:106:9287 公网 WS 入口(安全组免改动方案)、9287→19043 remote API 转发(板子 WiFi 直连通道)
- 发布链:124 下载站 + COS 双通道,原子发布 + 防降级 + 签名门禁(vc46→vc50 五个版本迭代)
- 可靠发布工程:CI 同款 dart-define 配置链、OTA generation 递增、GitHub Actions 自动构建
⑥ 下一步里程碑
- M1 本地自主闭环真机验证(vc50 已构建,待装机联调 + 固件 TAP op 联通)
- M2 板子截屏能力("直接画面")—— USB-ADB 移植或 direct 模式挖透
- M3 龙虾端到端:一句话任务 → 板子执行 → 复核 → 微信回执
- M4 本地模型持续迭代(更多真机数据 → mAP50 ≥0.75 → 阈值自适应)