不是靠堆参数,也不是靠换更大显卡——这次让机器人突然‘手稳’起来的,是一堆人日常干活时拍下的视频,加上戴手套、绑手环、挂腰带录下来的‘手感’和‘身法’。英伟达团队2月用2万小时第一视角视频预训练模型,灵巧手任务成功率直接比基线高54%;半年后,Dyna Robotics把数据拉到100万小时,14个任务平均得分从20%跳到53%。数字很硬,但背后有个更实在的问题:光拍‘眼前发生什么’,真不够用。

比如铺床——镜头里只看到手在拉被子,可人怎么挪步、腰怎么发力、手指怎么压住布料边缘不打滑?这些全在画面外。破晓智能10月推的SeePhys Hub系统,干脆给Ego加了‘全身’:四目头环看全局,腕部手环记角度,腰腿追踪器抓位移,触觉手套录下每根手指按下去的力道。它没回到动捕棚里穿满传感器的老路,也没停留在‘能拍就行’的轻量阶段,而是在中间踩出一条新道:既保留人类自由活动的真实感,又把身体怎么动、手怎么‘摸’、力怎么变,全塞进训练数据里。
有意思的是,当行业还在争论‘要一亿小时Ego数据’时,TouchScale那组500小时统一采集的视触觉数据,已经让机器人在真实操作中成功率翻倍——从22.5%干到57.5%。它不教机器人模仿人手动作,只是让模型‘感受过’人类怎么握鸡蛋、怎么拧毛巾。这种‘手感迁移’,比纯视频更接近物理世界的底层逻辑。Scaling Law没失效,只是换了个标尺:不是像素越多越好,而是‘触得到、动得准、连得上’的数据,才真正喂得饱机器人的‘手’。
这事儿其实挺像当年手机摄像头升级的逻辑——不是堆满2亿像素就拍得清,关键得让光进得来、算法懂人眼怎么聚焦。机器人手也一样,光给它塞视频,等于只让它“看热闹”;加上触觉和全身动觉,才算是真把它领进了干活的门里。
清华交叉信息研究院去年发布的《具身智能数据白皮书》里明确提到:人类完成一个日常操作,平均有63%的动作决策依赖触觉反馈,比如捏起回形针时指尖微压的变化,或拧瓶盖时虎口肌肉的协同收缩——这些根本不会出现在视频帧里,但缺了它们,机器人永远在“猜”下一步该用多大力。
更实际的是成本账。传统动捕棚单次采集要半天布点、校准、重拍,一小时数据成本超8000元;而SeePhys Hub这类轻量化全身传感方案,单人15分钟就能完成穿戴和标定,实测单小时采集成本压到900元以内。Dyna Robotics的工程师私下聊过,他们现在招数据采集员,不挑学历,专找干过家政、汽修、木工的老师傅——不是因为他们会写代码,而是他们抬手就知道“哪块肌肉该绷着”,这种身体记忆,恰恰是模型最渴求的“隐性知识”。
还有个常被忽略的细节:数据对齐。以前视频+IMU数据各自为政,时间戳差几十毫秒,力觉信号和视觉动作就对不上号。TouchScale团队公开的论文(ICRA 2024)里提到,他们用自研的多模态同步器,把视、触、动三路信号对齐精度做到±3.2毫秒,相当于人眨眼速度的1/30。这个数字听起来小,可正是它让模型第一次“看清”了——手指刚碰到鸡蛋壳的瞬间,腕部肌肉已经提前0.17秒开始卸力。
说到底,机器人不是要长出人的手,而是得学会像人一样“理解手”。当数据不再只是画面里的剪影,而是带着体温、力度、节奏的真实经验,那些卡在实验室门口的拧螺丝、叠衣服、换尿布任务,才真正有了落地的支点。毕竟,生活从不考参数,只看活儿干没干利索。
天顺优配提示:文章来自网络,不代表本站观点。