小米于7月15日公布了其名为Xiaomi-Robotics-U0的最新成果,这是一个具备380亿参数的多模态自回归具身生成基础模型。该模型被誉为具身智能领域首个能够统一处理四类任务的模型,有效整合了机器人图像和视频数据的生成与编辑流程。
该模型的能力涵盖以下四个方面:
具身场景生成:能够依据文本指令,为特定的机器人本体创造多视角的初始场景。无论是桌面、厨房、仓库等常见环境,还是更复杂的开放世界场景,都可以通过文字描述被模型转化为机器人可观测的视角。
具身迁移:允许将既有的机器人运动轨迹迁移至新的环境。例如,在改变光照条件、背景、桌面材质、目标物体或工作区域风格的同时,模型能够保持原始轨迹中的机械臂姿态和场景布局。
机器人交互视频生成:基于初始观测和操作指令,模型能够生成后续的视频序列,保证动作的连贯性和物理上的合理性,并且具备零样本泛化能力,可适用于任意场景。
通用文生图与图像编辑:模型保留了通用的图像生成与编辑功能,使得互联网上的视觉知识能够被迁移应用到具身智能的任务中。
小米方面指出,该模型可以在保持几何一致性的前提下,对现有数据进行增强,例如更换物体、调整光照、改变背景或增加干扰项,而无需重新采集数据。此外,它还能从零开始生成全新的场景,覆盖真实机器人难以触及的危险、极端或长尾环境。借助FlashAR+推理加速方案,其生成效率相比传统的自回归范式提升了近83倍,显著加快了工程落地进程。这为规模化生成用于增强模型效果的具身训练数据提供了可控且高效的解决方案。
在WorldArena评测基准中,Xiaomi-Robotics-U0的总得分位列第一,在126个参赛模型中脱颖而出。在真实机器人测试中,面对未知光照和陌生背景等非分布(Out of Distribution)场景,使用Xiaomi-Robotics-U0扩充数据训练的策略,任务完成进度平均提升超过26%。
相关代码和模型权重已全部开源,供社区使用。