刚刚,华为首个具身世界模型来了!国产算力训出,拿下双冠
智东西 作者 三北 编辑 心缘 智东西11月16日报道,今日,华为云推出其 首款 昇腾原生具身世界模型CloudRobo-WM1.2 ,并宣布于11月30日正式开放WM1.2模型权重、推理后训练代码及预训练最佳实践。 该模型采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构实现世界模型原生动作生成,在 RoboTwin 2.0、LiberoPro 2.0评测中均位列第一。 现场,华为云展示了基于CloudRobo-WM1.2的机器人完成 工业级搬运连续作业、轴承毛刺清洁 等真实工业场景实验,以及在 无人零售场景 中完成了物品上架、礼物入柜等收纳任务。 会上,华为云透露:“ 华为昇腾云在具身智能市场格局中国第一 ,已有 80% 的中国具身智能企业选择昇腾云,重点高校基本实现全覆盖。”这里的“格局第一”应该是企业自身统计口径下的生态渗透率、客户覆盖度国内第一,不是第三方机构营收口径。 同时,华为云宣布与环卫装备龙头企业福龙马集团联合研制的 智能清扫机器人 已启动预售。 一、直面五大挑战,华为用五项技术给机器人“补脑” 华为云具身产品线总裁/具身智能Lab主任吴小东透露,其团队一直在行业大模型、商专车的自动驾驶、具身智能行业尝试落地,看到了很多挑战:比如传统视觉表征一遮挡就“半瞎”,一换视角就“懵”,一动起来就变“傻”,在复杂开放环境中的成功率会明显下降。 整体来说,具身智能正从实验室走向真实物理世界,面临 多模态物理理解困难、世界认知与动作生成的耦合难、异构数据难以规模化利用、跨机器人本体泛化难、实时推理算力成本高 等多重挑战。 面对这些挑战,华为云基于在AI与智能驾驶领域的工程化实践,推出CloudRobo-WM1.2世界模型与CloudRobo开发平台,试图打造具身智能的“硅基黑土地”。 CloudRobo-WM1.2围绕具身智能核心挑战,构建了以下五大核心技术能力: 1、PPA(Perceive-Predict-Act)多模态世界表征架构: 模型不仅识别物体,还能预判物理交互结果。它融合RGB视频、语义特征、深度与点云,引入未来多模态预测监督。 吴小东谈道,统一表征建模的目标,是让机器人从“看得清一张图片”到“能看懂一部4K电影”,更好理解物理世界。例如,机器人看到一个杯子,不仅知道它是什么、在哪里,还能预判推它下一步会怎样运动、是否会倾倒。 2、多粒度监督数据自适应预训练框架: 就好像画漫画不需要画出完整的刘德华,只需要体现他的特点即可辨识。CloudRobo-WM1.2根据数据实际具备的有效信息组织监督,避免有价值数据因局部缺失被丢弃,释放异构数据Scaling潜力。动作标注缺少、部分维度无效、深度缺失及相机视角不完整等数据都可被兼容。 吴小东谈道,动态监督机制要让模型“既能吃粗糠,又能吃细粮”,把动作缺标注、维度无效、深度缺失的数据联合监督,最大化数据价值。 3、世界模型原生DualAct(Dual-path Unified Expert Training)架构: “同一个懂世界的大脑,两种动作生成路径”。类似人有不经过大脑皮层的直接控制(膝跳反射),快速高效直接,也有经过学习之后在生活中建立的条件反射(谈虎色变)。世界模型直接输出高精度动作,实现原生机器人动作控制;基于MOT架构,动作专家也可实现直接高效动作输出。双通道动作架构设计,可以支持开发者灵活定义动作专家尺寸,提高后训练效率。 4、本体语义保真跨具身运动建模: 相当于为单臂、双臂、轮式等各种形态机器人提供统一动作翻译器,多本体差异化可以统一语义。 吴小东提到,多本体不能简单把维度串起来,否则会丢失“千人千面”的差异;团队构造机器人翻译器,把96维机器人和168维人类运动原生语义联合训练,共享运动语言并复用人的运动经验。 5、World/Expert Action,Joint/Action-only四种可按需组合的弹性推理模式: 像点菜一样,丰俭由人,按需匹配客户算力资源和推理时延。其支持Joint(输出未来世界+高精度动作)、Action-only(只输出动作)两类输出目标,以及World Action(偏重高精度输出)、Expert Action(偏重快速高效)两种输出头,形成四种可组合的推理模式。客户可以根据算力、时延要求灵活组合。 总的来说,五项核心技术共同支撑CloudRobo-WM1.2在世界建模、动作生成、数据规模化学习和工程部署方面的持续演进,为具身智能从模型研究走向复杂物理场景应用提供技术基础。 二、模型三层+云三层:华为云搭起具身智能“全栈底座” 沿着五大技术特点继续深挖,CloudRobo-WM1.2技术架构分为三层: 第一层,具身原生多模态PPA模型架构: 预测增强世界理解+原生双路径动作,统一建模世界理
“火葬” 将被淘汰?新方式已在国内试用,很多人表示不是很能接受
保证足够的休息和恢复时间,避免连续过度训练。...
蒂格:活塞和国王很需要追梦 他们需要他坐镇内线 指导年轻人
保证足够的休息和恢复时间,避免连续过度训练。...