비꼼도 공감도 읽는다… UNIST, 목소리만 듣고 표정 바꾸는 AI 개발
김태환 교수팀, 음성 감정 신호로 표정 바꾸는 C-MET 개발
감정도 표현, 정확도 최고 성능 달성… CVPR 2026 채택
"잘한다", 똑같은 글자지만 말투에 따라 의미는 전혀 달라진다. 진심 어린 칭찬이 될 수도, 뼈 있는 비꼼이 될 수도 있다.
사람은 이를 자연스럽게 알아차리지만 인공지능에게는 쉽지 않은 과제였다.
UNIST 인공지능대학원 김태환 교수 연구팀이 이 난제를 풀어냈다. 연구팀은 음성 속 감정을 읽어 표정으로 옮기는 AI 모듈 'C-MET(Cross-Modal Emotion Transfer)'을 개발했다고 18일 전했다.
기존 기술들은 감정을 표현하기 위해 웃는 얼굴이나 화난 얼굴 같은 참고 이미지가 필요했다. 하지만 C-MET은 다르다. 목소리만 있으면 된다.
핵심은 감정의 '변화량'을 학습하는 방식이다. 연구진은 중립적인 음성과 감정이 담긴 음성 사이의 차이를 벡터 형태로 분석했다. AI는 이 변화를 얼굴에서 어떤 표정 변화로 나타내야 하는지 학습한다.
덕분에 같은 문장을 말하더라도 어조에 따라 입꼬리와 눈썹, 눈가의 움직임이 달라진다. 단순히 말을 따라서 하는 수준을 넘어 감정까지 얼굴에 담아내는 것이다.
특히 이번 기술은 학습 과정에서 보지 못한 감정도 표현할 수 있다는 점이 눈길을 끈다. 기존 AI가 '기쁨', '슬픔'처럼 이름표가 붙은 감정을 외우는 방식이었다면, C-MET은 감정 간 거리와 변화를 이해한다. 그래서 비꼼이나 공감, 카리스마 같은 복합적이고 미묘한 감정까지 구현할 수 있다.
성능도 입증됐다. 연구팀이 최신 표정 편집 기술인 EDTalk에 C-MET을 적용한 결과 감정 표현 정확도는 41.99%에서 55.91%로 14%포인트 가까이 향상됐다. 또 다른 얼굴 생성 모델인 PD-FGC에서도 정확도가 33.36%에서 36.82%로 높아졌다. 추론 속도 역시 개선됐다.
이는 C-MET이 특정 AI 모델에만 쓰이는 기술이 아니라 다양한 얼굴 생성 플랫폼에 적용 가능한 범용 모듈임을 보여준다.
김태환 교수는 "참조 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있다는 점에서 기존 기술의 한계를 실질적으로 해결했다"며 "가상 인간 제작과 영화 후반작업, 감정 인식 AI, 교육용 아바타 등 다양한 산업 분야에서 활용될 수 있을 것"이라고 말했다.
이번 연구는 최찬혁 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했으며, 연구 성과는 컴퓨터 비전 분야 최고 권위 국제학회인 CVPR 2026에 채택됐다.
꼭 봐야 할 주요 뉴스
"화장실 두 번 다녀오더니 답을 술술"…스마트 안경 숨긴 수험생 결국
목소리가 얼굴을 움직이는 시대. 이제 AI는 말을 듣는 것을 넘어, 감정까지 읽어내기 시작했다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>