小米开源具身智能统一生成模型:380亿参数 生成效率提升83倍

Antutu

阅读

今天,小米正式发布并全量开源380亿参数多模态自回归具身生成基础模型Xiaomi-Robotics-U0。

图片

同时,这也是行业首个统一覆盖四类核心具身生成任务的一体化方案。

该模型打破以往机器人场景、轨迹、视频生成模型相互割裂的现状,能够自主生成与扩增机器人训练所需的图像和视频数据,解决真机采集极端、危险及长尾场景数据成本高、难度大的痛点。

生成效率方面,依托自研FlashAR+推理加速方案,模型相较传统自回归架构提升近83倍。

图片

配合vLLM分页KV缓存批量调度技术,1024×1024分辨率图像生成耗时从四百余秒压缩至5.44秒,适配工业化批量生产需求。

据悉,Xiaomi-Robotics-U0统一承载具身场景生成、具身轨迹迁移、机器人交互视频生成以及通用文生图与图像编辑四项能力。

图片

其独创五维解耦结构化控制范式,支持通过自然语言对工作台布局、操作物体、杂物、光照、背景五大维度独立调整,全程保障多视角几何一致性,避免修改画面元素时出现机械臂位姿错位或场景空间畸变。

图片

兼容性方面,模型支持方舟无限、智元、松灵PiPER等多种机器人本体,可生成室内、户外、海底、赛博场景等开放世界仿真环境。

在全球126款模型同台竞技的WorldArena具身视频评测基准中,Xiaomi-Robotics-U0夺得总分第一,指令遵循、交互流畅度、多视角一致性指标均处于领先位置。

在具身迁移对比测试中,模型在深度一致性、结构保真等指标上全面超越闭源GPT-Image-2.0。

图片

真机实测场景下,使用该模型扩增数据训练的机器人,在陌生光照、全新背景等分布外复杂工况中,任务完成进度平均提升超26%,面对反光、彩色强光等视觉干扰亦可自主校正。

目前,模型全部代码和权重已在官网、GitHub、Hugging Face及魔搭平台完整开源,面向全球具身智能开发者开放使用。

图片

原创文章,作者:Noer,如若转载,请注明出处:http://www.antutu.com/doc/137212.htm

相关推荐

登录后才能评论

评论列表 ( )

返回
顶部