机器人AI连把手、按钮的作用也能理解[读懂科学]

by Kim Jonghwa

Published 17 Sep.2026 09:15(KST)

Updated 17 Sep.2026 13:34(KST)

open/close

GIST开发连接物体、组件与功能的3D识别技术……组件检索性能达83.6%

一项人工智能技术近日研发成功，机器人不仅能找到微波炉，还能理解把手用于开门、按钮用于启动设备。这项技术将物体的位置与细部组件的功能关联起来，帮助机器人将人的指令转化为具体作业。

光州科学技术院（GIST）17日表示，人工智能学科教授Kim Euihwan领导的研究团队开发出“统一3D场景图（Unified 3DSG）”，将物体及其组件的位置、功能和可执行动作整合于一体。

集成3DSG的实际机器人应用。移动机器人“Stretch 3”识别周边环境，并根据物体功能将人的指令转化为作业计划和移动目标。研究团队供图

3D场景图是一种将物体的位置及相互关系连接起来的三维知识地图，使机器人能够理解周边环境。现有技术主要侧重于识别椅子、微波炉等完整物体，对于把手、按钮等小型组件的位置和功能识别存在局限。

研究团队开发的“OP3DSG”会先从摄像头画面中识别物体，再同时检索构成该物体的细部组件。例如，发现烤箱后，系统会进一步识别其门、把手和按钮等部件。

从多个角度拍摄的影像将被整合至三维空间。在此过程中，系统通过比对组件的位置、语义和颜色信息，将不同影像中出现的同一组件连接起来。随后，利用大语言模型补充物体与组件之间的功能关系及可执行动作信息。

例如，在微波炉与把手相连这一空间信息基础上，进一步添加“把手用于开门”这一功能信息。

研究团队通过自主开发的评估体系“UniGraph3D”验证性能发现，在人工智能给出的前3个候选项中包含正确组件的比例为83.6%，较现有对比方法的最高水平52.4%高出31.2个百分点。识别物体与组件之间空间关系的性能提高7.9个百分点，识别功能关系的性能提高9.2个百分点。

研究团队还将该技术应用于实际移动机器人“Stretch 3”，确认其能够识别周边环境，并根据人的指令移动。

机器人能够统计周围椅子的数量，或找到打开电视所需的遥控器并移动至相应位置。对于“请整理衣物”的指令，机器人会规划寻找毛巾并放入篮子的作业顺序。

研究团队合影。从左起：GIST人工智能学科教授Kim Euihwan、硕博连读生Kim Ireum。GIST供图

面对“我口渴了，请拿一个喝水时能用的东西”这一指令，机器人也能根据物体之间的功能关系寻找所需物体，并设定移动目标。不过，本次验证重点在于物体检索、移动和作业规划，并未验证机器人实际操控所有物体的能力。

GIST人工智能学科教授Kim Euihwan表示：“本研究的核心在于，将机器人理解‘什么东西在哪里’以及‘哪些组件可以使用、如何使用’所需的信息整合在一起。未来，这项技术有望成为服务机器人理解复杂真实环境，并将人的自然语言指令转化为具体作业计划和移动行动的基础技术。”

此次研究由GIST人工智能学科硕博连读生Kim Ireum担任第一作者，并于8日至12日在瑞典马尔默举行的国际计算机视觉学术会议“欧洲计算机视觉会议2026”上发表。

本报道由人工智能(AI)翻译技术生成。