VLA、世界模型与WAM竞逐……机器人智能的进化
KAIST教授Im Seonghun "行为数据不足是最大瓶颈"……韩国制造业迎来机遇

编者注“Science Scope”是一个专题栏目,旨在深入观察特定科学技术现象,分析其意义与未来发展。
应用谷歌DeepMind“Gemini Robotics 1.5”的机器人正在根据衣物颜色进行分类。图片由谷歌DeepMind提供。

应用谷歌DeepMind“Gemini Robotics 1.5”的机器人正在根据衣物颜色进行分类。图片由谷歌DeepMind提供。

View original image

“拿起杯子,放到架子上。”


对人来说,这是一条简单的指令,对机器人却是一项艰巨任务。它必须确定杯子的位置,控制手部动作和力度;如果出现障碍物,还得改变行动方式。理解语言的含义,与在现实世界中执行语言指令,是截然不同的问题。


人工智能(AI)开始跨越语言,学习物理世界。摆脱了撰写文章、回答问题的生成式人工智能,能够感知周围环境并采取行动的“物理人工智能(Physical AI)”正成为下一代技术竞争的焦点。然而,要让机器人像人一样行动,仍有许多难关要闯。最大的障碍是缺乏在现实世界中积累的经验。


韩国科学技术院(KAIST)文化技术研究生院教授、Neural Dynamics创始人Im Seonghun在接受阿视亚经济采访时表示:“如果说语言模型是从海量文本中学习语言和知识的模式,那么机器人就必须学习在什么情况下采取什么行动会产生什么结果。”


将语言转化为行动的人工智能……视觉—语言—行动模型的挑战


ChatGPT等大型语言模型通过学习互联网上积累的海量文本不断发展。相比之下,机器人仅靠阅读文字无法学会如何拿起物品。它必须亲身感知物体的重量、摩擦力,以及动作引起的环境变化。


推动这一变化的技术是视觉—语言—行动模型(Vision-Language-Action,VLA)。它通过摄像头画面观察周围环境,理解人的指令,再生成机器人的动作。这是经过训练、可用于多种任务的机器人基础模型的一种代表性方法。

韩国科学技术院文化技术研究生院教授、Neural Dynamics创始人 Im Seonghun。韩国科学技术院供图。

韩国科学技术院文化技术研究生院教授、Neural Dynamics创始人 Im Seonghun。韩国科学技术院供图。

View original image

以往的工业机器人重复执行预设动作,而应用视觉—语言—行动模型的机器人则被设计为能够应对物体位置或作业指令发生变化的情况。谷歌的RT系列模型和开源模型OpenVLA等都是代表性案例。


然而,即使机器人能在实验室里熟练地拿起杯子,一旦物体形状或光线发生变化,也可能失败。在材质、重量和周边环境时刻变化的工业现场,问题会更加复杂。


Im教授评价称:“视觉—语言—行动模型展现了用一个模型执行多种任务、适应新环境的潜力。”但他也指出:“目前还未能实现可以稳定应对实际工业现场突发情况的通用模型。”


行动前先预测未来……世界模型登场


让机器人能够预测行动结果的技术也在不断发展,这就是“世界模型(World Model)”。正如人可以预测推杯子后杯子会朝哪个方向移动,世界模型会计算在当前情况下采取特定行动后,周围环境将如何变化。


英伟达的Cosmos等世界基础模型,正朝着学习物理环境变化并生成未来情境的方向开发。这类模型还可用于在虚拟环境中测试现实中难以遭遇的情形。


近期,研究人员还在探索将未来预测与行动生成相结合的“世界行动模型(World Action Model,WAM)”。视觉—语言—行动模型通过观察周围环境生成行动,世界模型则预测行动之后的世界。世界行动模型试图同时预测未来情境与行动。

AI生成图像

AI生成图像

View original image

不过,能够生成看似合理的未来场景,并不意味着模型就能准确预测真实物体的运动。如果错误预测摩擦力、接触情况或重心变化,机器人的行动就可能失败。


美国斯坦福大学教授、World Labs联合创始人Fei-Fei Li也关注世界模型的潜力。她去年9月接受彭博社采访时表示:“要打造适合机器人学习和评估的环境,仍存在很大的瓶颈。精细的世界模型有望帮助突破这一瓶颈。”


她还表示:“在精密制造或实验室研究等专业性较强的领域,数据并不充足。”她解释说,如果借助世界模型构建接近现实的虚拟环境,就可以将其用于机器人的训练和评估。

李飞飞,美国斯坦福大学计算机科学系教授。她主导研究“空间智能”,致力于让人工智能理解并预测物理空间;同时也是人工智能企业 World Labs 的联合创始人兼首席执行官。斯坦福大学供图

李飞飞,美国斯坦福大学计算机科学系教授。她主导研究“空间智能”,致力于让人工智能理解并预测物理空间;同时也是人工智能企业 World Labs 的联合创始人兼首席执行官。斯坦福大学供图

View original image

虚拟世界成功,现实中却失败……机器人的两难


物理人工智能的根本问题在于数据。语言模型可以学习互联网上积累的海量文本,但将机器人行动与行动结果联系起来的数据相对匮乏,获取成本也很高。


一种典型方法是由人远程操控机器人,即“远程操作(Teleoperation)”。操作人员移动机器人时,摄像头画面和关节运动等信息会被记录下来。机器人以此为基础,通过模仿学习复现人的动作。

人工智能生成图像

人工智能生成图像

View original image

然而,收集数据需要机器人和人力,耗时又费钱。不同机器人的关节和机身结构也各不相同,因此数据难以共享。Im教授指出:“如果经验不足,或者经验集中于特定情境,模型的泛化能力就难以提升。”


这正是研究人员关注仿真的原因。在虚拟空间中,可以让大量机器人运行,并通过改变各种条件进行训练。但在虚拟世界中反复成功,并不代表在现实中也能成功,因为摩擦、接触、材料形变和传感器误差等因素难以完美复现。这被称为“仿真与现实差距(Sim-to-Real Gap)”。


Im教授解释说:“仿真可以弥补数据不足,但还需要结合现实环境中的经验和验证。必须先在虚拟环境中拓展经验,再通过真实机器人进行验证,形成持续循环。”


连熟练工人的判断也要学……韩国制造业的机遇


近期,相关研究不断扩展,尝试不直接操控机器人,而是通过人的作业视频或可穿戴设备获取行为数据。具体方式是先利用人的第一人称视角视频学习作业过程,再与数量相对较少的机器人数据结合。


不过,人的手与机器人的手结构不同,因此难以原样复现视频中的动作。这也是数据的多样性和质量与数量同样重要的原因。机器人还必须学习作业失败后如何恢复,以及熟练工人基于何种判断介入操作。

一名工人在船厂狭窄的结构内部进行焊接。物理人工智能技术正朝着将熟练工人的判断传递给机器人、使其能够在狭窄危险空间内完成作业的方向发展。图片由 Neural Dynamics 官网提供。

一名工人在船厂狭窄的结构内部进行焊接。物理人工智能技术正朝着将熟练工人的判断传递给机器人、使其能够在狭窄危险空间内完成作业的方向发展。图片由 Neural Dynamics 官网提供。

View original image

Im教授认为,韩国的制造业、造船业和建筑工地都蕴藏着机遇。将熟练工人的经验和判断转化为机器人可以学习的数据,便能形成差异化竞争力。


他近期创立的物理人工智能初创企业Neural Dynamics,也正是基于这一认识而成立。该公司计划在造船厂狭窄、危险的空间内,将熟练工人的判断传递给机器人,并将其积累为训练数据。


该公司设想的方式是:熟练工人在机器人拍摄的作业现场视频中标注焊接位置,人工智能再将其转换为三维作业路径,经过专家修改和批准后,由机器人执行。该公司的目标是连哪些路径获批、哪些路径经过修改都记录下来,并用于后续训练。


不过,该公司公开的视频是在虚拟仿真环境中制作的概念演示,并不意味着相关技术已在真实造船厂通过性能验证或实现商业化。


从制造机器人到教会机器人


Im教授建议,与其一开始就追求能够完成所有工作的通用机器人,不如先从零部件搬运、材料处理等具有工业价值的任务入手。


关键在于建立一个循环体系:将机器人部署到现场,收集作业数据,改进模型后再投入使用。这与特斯拉通过实际行驶的汽车收集数据、改进自动驾驶技术的方式类似。不过,机器人的作业和机身形态多种多样,数据利用也更加复杂。


企业的工艺信息可以共享到什么程度,如何整合不同机器人的数据,以及如何验证机器人所学行为的安全性,都是有待解决的问题。


Im教授将未来3至5年的核心课题归结为持续获取机器人学习所需的数据。他强调:“能否建立起在现场使用模型、收集数据、加以改进后再重新应用的体系,将决定韩国物理人工智能的竞争力。”



人工智能理解人类语言的能力已经取得惊人进展。接下来的课题,是学习现实世界的复杂性和各种意外情况。物理人工智能的下一场竞争,归根结底是看机器人能够积累多少不同经验,并将失败转化为学习成果。


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点