米兰体育

网易米兰体育 > > 正文

机器人伸手时,杯子被挪走了:LIBERO-MAX用22.4万次仿真检验动态可靠性

0
分享至



设想这样一个场景:你让机器人把桌上的杯子收进托盘。它已经看到了杯子,机械臂正朝杯子伸过去。这时,旁边的人顺手把杯子挪开了几厘米。

对人来说,接着调整一下手的位置就好。对机器人来说,事情可能复杂得多:它之前看到的是旧位置,已经生成的动作也指向旧位置。如果继续执行,手就可能伸向一块空桌面。它能及时看到变化、调整动作,最后把杯子收好吗?

这个小插曲,指向了机器人走进真实生活时必须面对的问题:环境会在机器人行动过程中改变,而任务还需要继续完成。

机器人如何接受一场「考试」?

近年来,机器人开始使用视觉语言动作模型(VLA):输入摄像头画面和「把杯子放进托盘」这样的指令,模型便生成控制机械臂的动作。一些模型还引入世界预测机制,尝试利用对后续场景的预测帮助行动。

判断这些模型做得好不好,需要一套共同的考试题。机器人评测基准提供标准化任务和仿真环境,让不同模型在相同条件下接受测试,再比较谁能完成更多任务。

已有很多鲁棒性评测会在任务开始前改变条件,例如换一个杯子位置、调整光照或改变视角。机器人从第一眼起,看到的就是调整后的场景。

但「杯子一开始就在另一边」和「手伸到一半,杯子才被挪走」,对机器人提出了不同要求。后一种情况下,机器人已经根据旧画面采取行动,还可能有一串尚未执行的动作。它需要在已有的执行过程上,继续应对新的情况。

围绕这一问题,来自Stanford、CMU、MIT、UIUC 和 UT Austin等机构的研究者提出了LIBERO-MAX,将执行过程中的环境变化变成可重复、可比较的测试。

该工作已入选NeurIPS26 Robotics World Modeling Workshop 口头报告(Oral)。Yunbei Zhang与Zijian Jin为共同第一作者,合作作者包括 UT Austin 教授Peter Stone、Stanford 教授Marco Pavone、MIT 博士后Weirui Ye和 NTU 助理教授Jianfei Yang。



  • 论文标题:LIBERO-MAX: Do Robot Policies Adapt When the World Changes?
  • 作者:Yunbei Zhang*、Zijian Jin*、Yuanzhe Liu、Janet Wang、Xilun Zhang、Yuyou Zhang、Zhenyu Zhang、Daoan Zhang、Shuaicheng Niu、Gen Li、Jianfei Yang、Jihun Hamm、Ismini Lourentzou、Weirui Ye、Bo Liu、Peter Stone、Marco Pavone
  • 论文链接://arxiv.org/abs/2609.36518
  • 代码链接://github.com/liberomax/LIBERO-MAX
  • 项目主页://liberomax.github.io/

同一个机器人,两种后续

回到抓杯子的故事。假如机器人最终失败了,怎么判断是杯子被挪走造成的,还是它本来就抓不好?

LIBERO-MAX 为同一个任务安排两次执行。两次执行共享初始状态、指令、模型随机种子,以及变化发生前的全部动作。到了同一个关键时刻,再让它们经历不同的后续:

  • Base:不额外加入中途变化,机器人继续执行。

  • Dynamic:加入一次环境变化,例如移动目标物体,机器人继续尝试完成任务。

如果机器人在 Base 中成功、在 Dynamic 中失败,就能识别出这次变化破坏了一个原本能够完成的任务。即使两次都失败,也会保留在结果中,帮助区分原有能力不足和中途变化带来的影响。

这套设计以 LIBERO-Plus 和 LIBERO-PRO 的任务为基础,构建了8,000 组配对案例、8 类执行中途的变化:目标移动、容器移动、相机视角改变、传感器噪声、光照切换、视觉主题变化、干扰物增加和障碍物插入。



图 1|两次执行在变化前保持一致,再比较加入变化后的任务完成情况。八类事件覆盖物体位置、视觉观测、外观与杂物,以及路径约束。

一次中途变化,影响到底有多大?

研究团队评测了 14 种当前机器人策略,涵盖 VLA、混合架构和世界动作模型(WAM),均使用各自发布的推理配置。每个策略完成 16,000 次执行,主评测累计22.4 万次仿真。

结果显示:所有受测策略的成功率都下降了,降幅为 11.0–25.7 个百分点。



图 2|每一行代表一个策略。空心圆是没有新增中途事件的成功率,实心方块是加入变化后的成功率。所有策略都出现下降。

即使是动态条件下表现最好的 MolmoAct2 和 π₀.₅,成功率也分别只有 66.9%和 65.7%,丢失了不少原本能够完成的任务。对于其中一个受测策略,超过一半的原有成功案例在变化后转为失败。

配对评测因此提供了两种信息:变化后还能完成多少任务,以及哪些原本能够完成的任务被变化打断。

不同类型模型的排名也相互交错,没有一个模型家族始终占优。当前受测的世界动作模型同样需要面对执行中途的变化,世界预测能力能否转化为可靠行动,还需要通过实际任务检验。

杯子移动、视角变化,为什么尤其难?

八类变化带来的损失并不相同。目标或容器移动,以及相机和传感器变化,造成了更明显的共同困难;光照和视觉主题变化通常影响较小。

这与抓杯子的故事形成了直观联系:杯子换了位置,原来的伸手目标需要调整;托盘移动了,放置位置需要更新;摄像头视角改变了,机器人又要从新的画面中理解自己与物体的关系。



图 3|每个圆点代表一个策略的表现变化。按事件拆解结果,可以看清模型在哪些变化下更容易失败。

这种拆解让研究者能够进一步定位问题:应该改进视觉识别、目标更新,还是动作规划?模型改进之后,也可以用同一类事件检查效果。

让机器人多看几次,能解决吗?

一个自然的想法是:环境可能变化,那就让机器人更频繁地看画面、重新生成动作。

机器人策略常常一次预测一串动作,再执行若干步后获取新观测。这样可以减少模型调用,但变化发生时,依据旧画面生成的动作可能仍在执行。

研究团队在同一组 800 个配对案例上,测试了 4 个策略、18 种有效的动作执行间隔。调整间隔确实会改变表现,但所有测试设置下,变化后的成功率仍低于对应的 Base。更频繁的反馈,并未自动消除这道差距。

相机对照实验还发现,同样的视角变化,在第一帧就出现与执行到一半才出现,结果也不同。三个被测策略在中途变化条件下,都比从起点就使用改变后的视角更容易成功。

这说明,评测还需要关注机器人已经走到了哪里、此前执行过哪些动作。面对同样的新画面,不同的执行历史也会影响后续结果。

找到问题之后,能追回多少成功率?

LIBERO-MAX 还可以用来检验针对性的改进。

研究团队选取 300 个固定的传感器噪声案例,在 X-VLA 前加入图像质量检测模块:发现当前图像质量较差时,先修复、去噪,再交给策略处理。策略无需重新训练,检测模块也不会提前收到「变化已经发生」的通知。



表 1|比较原始观测、始终修复和按图像质量触发修复三种处理方式。

按质量触发修复后,变化后的成功率从40.7% 升至 47.7%,提高 7.0 个百分点,Base 成功率基本保持。始终修复也带来了 6.7 个百分点的提升。

这个小规模实验表明,针对特定变化采取补偿措施,能够挽回一部分失败。配对评测则可以同时检查:它改善了多少受扰动任务,以及是否影响原本能够完成的任务。

让「世界变了,还能做完吗」成为机器人评测的核心问题

LIBERO-MAX 提供评测代码、固定案例清单和配对诊断,还提供包含 800 组案例的 Lite 版本,将执行数量降到完整版本的十分之一,方便研究者先做快速验证,再开展完整评测。

机器人进入家庭、办公室或工厂后,环境变化会伴随任务执行不断发生。LIBERO-MAX 希望为变化检测、动作调整、重新规划和自主恢复提供可复现的测试平台,让模型改进能够接受同一套动态环境考验。

回到开头那个被挪走的杯子:可靠的机器人,需要在情况改变之后,仍然把它收进托盘。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
男子和四十多岁女网友认识后,频繁发生关系,最后一次在车内,男子死亡后家属向女子索要巨额赔偿

男子和四十多岁女网友认识后,频繁发生关系,最后一次在车内,男子死亡后家属向女子索要巨额赔偿

丫头舫
2026-10-13 22:10:25
本·阿弗莱克自曝:成名后在家连打3年《星际争霸》,啥也没干

本·阿弗莱克自曝:成名后在家连打3年《星际争霸》,啥也没干

渡川5
2026-10-13 10:34:31
张继科:我的比赛就1个人没来!原因你们细想 网友曝光:王楚钦好友

张继科:我的比赛就1个人没来!原因你们细想 网友曝光:王楚钦好友

林子说事
2026-10-14 08:17:03
莫迪不宣而战!印军越境开火,美派F-35A助阵,中印边境恐要生变?

莫迪不宣而战!印军越境开火,美派F-35A助阵,中印边境恐要生变?

孤城落叶
2026-10-12 15:01:41
一个贪财一个好色!三婚娶小37岁徒弟,81生女84生儿,现活成这样

一个贪财一个好色!三婚娶小37岁徒弟,81生女84生儿,现活成这样

兵卒史
2026-10-13 00:43:48
“江苏体制内独女炫耀视频”火了,同龄人被惹怒:你装什么装呢

“江苏体制内独女炫耀视频”火了,同龄人被惹怒:你装什么装呢

林子说事
2026-10-14 03:17:55
比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

琅琊财经
2026-07-31 22:02:18
男群演疑似猥亵女演员?画面曝光引争议!剧组:将尽快撤下该相关正片片段,已联系涉事两位演员,开展全面事实调查

男群演疑似猥亵女演员?画面曝光引争议!剧组:将尽快撤下该相关正片片段,已联系涉事两位演员,开展全面事实调查

都市快报橙柿互动
2026-10-13 15:31:20
未来能否达到C罗的高度?亚马尔12球10助,仅14场就解锁两双!

未来能否达到C罗的高度?亚马尔12球10助,仅14场就解锁两双!

海浪星体育
2026-10-14 09:13:45
懂车帝主持人质疑尊界V800第三方测试:既然合格,就别升级了

懂车帝主持人质疑尊界V800第三方测试:既然合格,就别升级了

PChome电脑之家
2026-10-13 11:25:45
手机涨价潮可怕后果:小米崩了,一个能打的都没有

手机涨价潮可怕后果:小米崩了,一个能打的都没有

鸣金网
2026-10-12 15:23:55
暴跌58%!劳力士神话彻底崩塌,坑惨二手表商,很多人一夜亏光

暴跌58%!劳力士神话彻底崩塌,坑惨二手表商,很多人一夜亏光

青眼财经
2026-10-13 19:18:30
生育大局定下了:没意外的话,2026年起中国生育政策迎来3大变化

生育大局定下了:没意外的话,2026年起中国生育政策迎来3大变化

鱼语昱雨轩
2026-10-14 03:04:03
肠癌“源头”已发现,油炸没上榜,第一种很多人可能每天都在吃!

肠癌“源头”已发现,油炸没上榜,第一种很多人可能每天都在吃!

芹姐说生活
2026-10-13 21:39:26
随着一场3-3读秒绝平,西甲格局一夜大变:巴萨8连胜领跑,皇马18分掉到第4,最新积分榜出炉

随着一场3-3读秒绝平,西甲格局一夜大变:巴萨8连胜领跑,皇马18分掉到第4,最新积分榜出炉

锐评利物浦
2026-10-13 08:59:55
斯大林为什么可以肆无忌惮地肃反,却不担心激起兵变?

斯大林为什么可以肆无忌惮地肃反,却不担心激起兵变?

熊倌儿
2026-10-13 22:51:07
郑钦文点燃网球市场,上海有望拿下 WTA 顶级赛事

郑钦文点燃网球市场,上海有望拿下 WTA 顶级赛事

林子说事
2026-10-14 00:05:56
女领导出轨风波后续!女方发声字字戳前夫心窝,原来她早找好退路

女领导出轨风波后续!女方发声字字戳前夫心窝,原来她早找好退路

旧史新谭
2026-10-13 14:36:35
元斌神隐16年突现身!48岁「一头长发垂后颈」近况曝光 脸完全没变

元斌神隐16年突现身!48岁「一头长发垂后颈」近况曝光 脸完全没变

ETtoday星光云
2026-10-13 10:03:04
这就是经济下行期的小三吗,时代变得我不认识了

这就是经济下行期的小三吗,时代变得我不认识了

再战五百回合
2026-10-13 09:11:43
2026-10-14 09:31:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14189文章数 142748关注度
往期回顾 全部

扎克伯格宣布追上OpenAI!Meta新模型亮相

男子徒步失联2年遗体找到 距他和母亲通话位置仅1公里

男子徒步失联2年遗体找到 距他和母亲通话位置仅1公里

走调的歌声里全是感情 最好的郑钦文尚未登场

谭松韵亲自解答兰香结局遗憾

"黑医师"产业链调查:不学医竟能"拿证"

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

超高清到犯规!奥地利女画家玛丽的印象派抒情风景,美到窒息,看一眼就想住进画里!

戴着Apple Watch睡觉 这次又多了一个理由

孕期可以有性生活吗?一次说清楚

巨无霸来了!海口百亿大盘,正式动工!

无障碍浏览 进入关怀版