로봇 AI, 손잡이·버튼의 역할까지 이해한다[과학을읽다]

GIST, 물체·부품·기능 연결하는 3D 인식 기술 개발…부품 검색 성능 83.6%

로봇이 전자레인지를 찾아내는 데 그치지 않고 손잡이가 문을 여는 데 쓰이고, 버튼이 기기를 작동시키는 역할을 한다는 사실까지 이해할 수 있는 인공지능(AI) 기술이 개발됐다. 물체의 위치와 세부 부품의 기능을 연결해 로봇이 사람의 지시를 구체적인 작업으로 바꾸도록 돕는 기술이다.

광주과학기술원(GIST)은 김의환 AI학과 교수 연구팀이 물체와 부품의 위치, 기능, 가능한 행동을 하나로 연결하는 '통합 3D 장면 그래프(Unified 3DSG)'를 개발했다고 17일 밝혔다.

통합 3DSG의 실제 로봇 활용. 이동형 로봇 '스트레치 3'가 주변 환경을 파악하고, 물체의 기능을 바탕으로 사람의 지시를 작업 계획과 이동 목표로 연결하는 모습. 연구팀 제공

3D 장면 그래프는 로봇이 주변 환경을 이해할 수 있도록 물체의 위치와 상호 관계를 연결한 일종의 3D 지식지도다. 기존 기술은 의자나 전자레인지처럼 물체 전체를 인식하는 데 초점을 맞춰 손잡이와 버튼 등 작은 부품의 위치와 기능까지 파악하는 데 한계가 있었다.

연구팀이 개발한 'OP3DSG'는 카메라 영상에서 물체를 찾아낸 뒤 해당 물체를 구성하는 세부 부품을 함께 탐색한다. 오븐을 발견하면 문과 손잡이, 버튼 등을 추가로 찾아내는 방식이다.

여러 각도에서 촬영한 영상은 3D 공간으로 통합한다. 이 과정에서 부품의 위치와 의미, 색상 정보를 비교해 서로 다른 영상에 등장하는 동일한 부품을 연결한다. 이후 거대언어모델(LLM)을 활용해 물체와 부품의 기능적 관계, 가능한 행동까지 보완한다.

예컨대 전자레인지와 손잡이가 연결돼 있다는 공간적 정보에 손잡이는 문을 여는 데 사용된다는 기능적 정보를 추가하는 것이다.

부품 검색 성능 83.6%…실제 로봇에도 적용

연구팀이 자체 개발한 평가 체계 '유니그래프3D(UniGraph3D)'로 성능을 검증한 결과, AI가 제시한 상위 3개 후보에 정답 부품이 포함된 비율은 83.6%였다. 기존 비교 방법의 최고 성능인 52.4%보다 31.2%포인트 높았다. 물체와 부품 사이의 공간적 관계를 파악하는 성능은 7.9%포인트, 기능적 관계를 파악하는 성능은 9.2%포인트 각각 향상됐다.

실제 이동형 로봇 '스트레치 3(Stretch 3)'에 적용해 주변 환경을 파악하고 사람의 지시에 따라 이동하는 기능도 확인했다.

로봇은 주변 의자의 개수를 파악하거나 TV를 켜는 데 필요한 리모컨을 찾아 해당 위치로 이동할 수 있었다. "빨래를 정리해 줘"라는 지시에는 수건을 찾아 바구니에 넣는 작업 순서를 계획했다.

연구팀 사진. (왼쪽부터) 김의환 GIST AI학과 교수, 김이룸 석·박사통합과정생. GIST 제공

"목이 마르다. 마실 때 쓸 수 있는 것을 가져다 달라"라는 지시에도 물체의 기능적 관계를 바탕으로 필요한 물체를 찾고 이동 목표를 설정했다. 다만 이번 실증은 물체 탐색과 이동, 작업 계획에 초점을 맞춘 것으로, 모든 물체를 실제로 조작하는 능력까지 검증한 것은 아니다.

김의환 GIST AI학과 교수는 "이번 연구의 핵심은 로봇이 무엇이 어디에 있는지뿐 아니라 어떤 부품을 사용할 수 있고, 어떻게 사용할 수 있는지까지 이해하는 데 필요한 정보를 하나로 연결한 것"이라며 "앞으로 서비스 로봇이 복잡한 실제 환경을 이해하고 사람의 자연어 지시를 구체적인 작업 계획과 이동으로 연결하는 데 기반 기술로 활용될 수 있을 것으로 기대한다"고 말했다.

김이룸 GIST AI학과 석·박사통합과정생이 제1저자로 참여한 이번 연구는 지난 8~12일 스웨덴 말뫼에서 열린 국제 컴퓨터비전 학술대회 'ECCV 2026'에서 발표됐다.

김종화 기자 justin@asiae.co.kr