Ego、UMI、动捕三种方式到底差在哪?以后谁会赢?
三者采集视角、信号类型、适用用途都不一样,在训练里是互补关系,不是单选题。
A|EgoSuite(第一人称视角 · 人类示范)头戴主视角 + 腕部辅视角,人在真实环境里用自己的手正常干活,不是遥控机器人演示。同步录入 RGB、深度图、手部关节位置与接触时序。门槛低,普通人就能采;拿人类的正确示范教模型"交互逻辑"和"自然操作的范式",适合预训练、环境理解、长任务规划。
人拿着带相机、位姿和力传感的夹爪去示范,末端控制逻辑天然贴近机器人。输出末端六维位姿、夹爪开合、末端画面,映射损耗小,对齐成本低,抓取、插接、动态操作这类短任务效果最好。缺点是不擅长"到处走动"的长规划。
穿标记点动捕服、在标定场地里做动作,拿到全身+双臂+手指的高精度三维坐标。动作真值里最干净的一类,用来做基准、做标注、校验 Ego/UMI 的跟踪误差,适配灵巧手和双臂协同这类精密动作。用量不用大。
不替客户强行选边,看模型处在哪个阶段:预训练学通用环境逻辑 → 加 Ego;机械臂要稳定做 Sim-to-Real 迁移 → 加大 UMI 配比;灵巧手精密装配 → 少量动捕做真值校准。