ESP32 控制手机 · 技术路线图

目标:一块 ESP32-S3 AMOLED 控制板,插在被控手机上,实现投屏 / 模拟点击 / 结果回传,AI 助手一句话派活。
更新:2026-11-08 · 状态:主链路已跑通

① 架构总览:三层算力分工

设计原则:边缘优先——能在手机本地处理的绝不上云,能在板子上处理的绝不过手机。云端只做手机做不了的事。

第 1 层 · ESP32-S3 板子 执行器 · 硬件级

USB HID 键鼠(模拟点击/拖拽/输入,硬件级零延迟)· CDC 串口控制台(全双工指令+回传)· AMOLED 屏(状态显示)· WiFi(OTA + 云直连通道)· BLE(无线中继备份)

第 2 层 · 被控手机 本地智能 · 毫秒级

内置 v11 ONNX 检测模型(INT8 3.4MB,~50ms/帧)· 本地自主闭环(识别→选目标→经板子 HID 执行)· 屏幕共享管道(MediaProjection 帧流)· 云中继(App 代理板子上云)

第 3 层 · 云端 兜底 · 只干手机干不了的

龙虾 AI 助手(语义级任务规划派活)· 114 精检测服务(四通道融合,本地模型兜底)· CDN 模型分发 · 任务状态库与回执

② 一次点击的完整旅程

快路径 · 手机本地闭环(~200-500ms,网络零依赖) 共享画面帧 → 手机内置 v11 模型推理(50ms) → 置信度 ≥0.35? → 是 → 手机下发 USB HID 坐标 → 板子执行 → 新帧核验 ✓ 中路径 · 云端兜底(~1.3s) 本地置信度不足 → 帧上传 106 → 114 四通道精检测(v8+v10+OmniParser×2) → 坐标回传 → 板子执行 → 核验 ✓ 慢路径 · 龙虾语义派活(秒级~十秒级) "帮我把蓝牙打开" → 龙虾规划多步 → 逐步下发 → 每步快/中路径核验 → 微信回执 ✓

③ 当前实测数据

~50ms手机本地推理/帧 (INT8) 1.3s云端四通道检测(热态) ~7sADB 过渡全闭环(实测) 82 个本地检测元素/帧上限 3.4MB内置模型体积(INT8) 0.667v11 mAP50 (4090·150ep)

④ 技术路线演进

阶段方案状态说明
路线 AADB 直连过渡已跑通截屏→检测→点击 ~7s,验证大脑与决策可行性(脚手架,仅开发调试)
路线 B板子 USB + 手机中继主链路已通USB HID 点击 ✓ · 屏幕共享 ✓ · 云中继 relayOnline=1 ✓
路线 C板子 WiFi 直连云端通道已备106:9287 公网入口已部署;direct 模式已定位(不经 App 的直连路径)
路线 D板子截屏("直接画面"终态)规划中移植 USB-ADB 桥(水墨屏血统 NCM+5555 已验证可行)或 direct 模式

⑤ 已交付的关键成果

⑥ 下一步里程碑