"시각·청각 정보 혼동 억제" AI '환각' 현상 개선
시각·청각 정보의 혼동을 억제해 인공지능(AI) '환각(Hallucination)' 현상을 개선할 핵심 기술이 국내에서 개발됐다. 듣고, 보는 과정의 감각 정보를 스스로 구분해 '존재하지 않는 정보'를 만들어내는 일종의 환각 증상을 줄일 수 있게 된 것이다. 이를 적용하면 자율주행차, 로봇, 의료 AI 등의 신뢰성도 높아질 것으로 기대된다.
KAIST는 전기 및 전자공학부 노용만 교수 연구팀이 '멀티모달 대형 언어모델(MLLM)'의 감각 혼동을 줄일 핵심기술을 개발했다고 31일 밝혔다.
MLLM은 텍스트·이미지·소리 등 정보를 동시에 이해하는 AI다. 연구팀이 개발한 기술은 카메라와 각종 센서의 특성을 정확하게 이해하도록 돕는 '센서 이해((Diverse Negative Attributes·DNA)' 기술과 시각·청각 정보가 뒤섞였을 때 발생하는 환각을 줄이는 '감각 혼선 방지(Modality-Adaptive Decoding·MAD)' 기술이다.
센서 이해는 열화상·X-ray·깊이 영상(물체까지의 거리를 측정) 등 센서가 담은 물리적 의미를 이해하게 한다.
예컨대 사람은 열화상 화면에서 밝게 보이는 부분을 '뜨거운 상태'라고 인식하지만, 기존 AI는 이를 일반 사진처럼 해석해 단순한 빛으로 혼동할 수 있다. 이를 개선하기 위해 AI가 열과 거리 등 센서로 측정한 물리 정보를 이해할 수 있게 새로운 학습 방법을 고안한 것이 센서 이해 기술의 핵심이다.
이를 AI에 적용(반복 학습)했을 때는 실제 어둠이나 연기 속에서도 사물을 보다 정확하게 인식하는 게 가능했다.
감각 혼선 방지는 시각·청각 정보가 상호 영향을 받을 때 발생하는 환각을 줄인다. 가령 기존 MLLM AI는 CCTV에 차량의 이동 장면이 포착됐을 때, 소리가 녹음돼 있지 않아도 차량이 화면에 담겼다는 이유만으로 '엔진 소리가 들린다'고 답하는 사례가 있었다. 하지만 감각 혼선 방지 기술을 적용하면, 보이는 것에 치중해 듣지 못한 소리를 '들은 것처럼' 답하는 환각을 해소할 수 있다.
특히 연구팀은 감각 혼선 방지를 기존 AI에 프로그램에 도입해 즉시 적용할 수 있도록 설계함으로써 추가 학습에 따른 시간·비용을 줄이고, MLLM AI의 신뢰성을 높였다.
센서 이해와 감각 혼선 방지 기술은 늦은 밤과 안개 등 악조건에서도 보행자와 차량을 정확히 인식하는 게 가능해 자율주행차와 화재 현장에 투입할 구조 로봇, 열화상 카메라를 이용한 드론 등에 실제 활용할 수 있다.
또 공항 보안 검색에서 엑스레이 영상을 분석하거나, 병원에서 CT·MRI·엑스레이 등 의료영상을 분석할 때 AI의 정확성과 신뢰성을 높이는 데 기여할 것으로 기대된다.
노 교수는 "MLLM AI를 현장에 적용하기 위해선 센서별 특성을 정확히 이해하고, 여러 감각 정보를 혼동 없이 인식하는 게 중요하다"며 "이번 연구는 대규모 재학습 없이 AI의 감각 편향과 환각을 줄이는 핵심 기술로 MLLM AI의 정확도와 신뢰성을 높일 기반을 마련했다는 점에서 의미를 갖는다"고 말했다.
꼭 봐야 할 주요 뉴스
"화장실 두 번 다녀오더니 답을 술술"…스마트 안경 숨긴 수험생 결국
한편 이번 연구에는 KAIST 전기 및 전자공학부 정상윤 박사과정이 제1 저자(센서 이해·감각 혼선 방지 부문), 유영준 박사가 공동 제1 저자(센서 이해 기술 부문)로 참여했다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>