"잘한다" 한마디에 담긴 비꼼까지 읽는다…AI가 표정 바꿔준다[과학을읽다]

UNIST, 음성 감정 분석해 얼굴 표정 생성
훈련 안 된 감정도 표현…정확도 14%p 향상

"잘한다."

같은 말이라도 진심 어린 칭찬일 수도 있고, 비꼬는 말일 수도 있다. 사람은 말투와 억양만 들어도 감정을 읽어내지만 인공지능(AI)에게는 쉽지 않은 일이다.

C-MET와 기존 방법들의 감정 편집 결과 비교. 연구팀은 동일한 중립 표정 영상에 비꼬는 감정이 담긴 음성을 입력해 성능을 비교한 결과, C-MET이 입꼬리가 양옆으로 넓게 벌어지는 등 비꼼 특유의 미묘한 표정 변화를 가장 정확하게 구현했다고 설명했다. 반면 기존 기술들은 이러한 감정 표현을 제대로 재현하지 못했다. 연구팀 제공

국내 연구진이 음성에 담긴 미묘한 감정을 읽어 영상 속 인물의 표정을 바꾸는 AI 기술을 개발했다. 기쁨이나 슬픔뿐 아니라 비꼼, 공감, 카리스마 같은 복합적인 감정까지 표현할 수 있어 가상인간과 교육용 아바타, 상담 AI 등의 자연스러움을 크게 높일 수 있을 것으로 기대된다.

울산과학기술원(UNIST)은 김태환 인공지능대학원 교수 연구팀이 음성 신호에서 감정을 추출해 영상 속 화자의 얼굴 표정을 원하는 감정으로 바꿀 수 있는 인공지능 모듈 'C-MET(Cross-Modal Emotion Transfer)'을 개발했다고 18일 밝혔다.

기존 얼굴 생성 AI는 특정 감정을 표현한 참조 이미지가 필요하거나 학습한 감정 범위 안에서만 표정을 생성할 수 있다는 한계가 있었다.

연구팀은 감정 자체가 아니라 감정의 '변화량'에 주목했다.

중립적인 음성과 감정이 담긴 음성의 차이를 수치화한 뒤 그 변화가 얼굴에서는 어떤 표정 변화로 나타나는지를 AI가 학습하도록 설계했다. 덕분에 말의 내용과 감정이 함께 섞여 있어도 감정 신호만 분리해 읽어낼 수 있다.

예를 들어 같은 문장을 말하더라도 어조에 따라 입꼬리나 눈썹, 눈 주변 움직임을 다르게 표현할 수 있다.

특히 감정에 '기쁨'이나 '슬픔' 같은 이름표를 붙여 학습하는 방식이 아니라 감정 간 차이를 학습하기 때문에 학습 과정에서 보지 못한 감정도 표현할 수 있다. 비꼼이나 공감, 카리스마 같은 미묘한 감정 표현도 가능하다는 설명이다.

"사진 없이도 감정 표현"…가상인간 활용 기대

연구팀은 최신 말하는 얼굴 편집 기술인 '이디톡(EDTalk)'에 C-MET을 적용해 성능을 검증했다.

그 결과 다중 감정 음성·영상 데이터셋인 MEAD(Multimodal Emotion-Aware Dataset) 기준 감정 표현 정확도가 기존 41.99%에서 55.91%로 약 14%포인트 향상됐다.

또 다른 얼굴 생성 모델인 'PD-FGC'에서도 정확도가 33.36%에서 36.82%로 개선됐다. 추론 속도 역시 빨라져 특정 모델에 국한되지 않고 다양한 얼굴 생성 AI에 적용할 수 있음을 확인했다.

연구팀 사진. 김태환 교수(좌측)와 최찬혁 연구원. UNIST 제공

연구팀은 감정을 담은 고품질 참조 이미지 없이 음성만으로 표정을 생성할 수 있다는 점에서 활용 가능성이 높다고 설명했다.

김태환 교수는 "이번 연구는 참조 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있다는 점에서 기존 기술의 한계를 실질적으로 해결했다"며 "가상인간 제작과 영화·콘텐츠 후반 작업, 감정 인식 AI 등 다양한 분야에 활용될 수 있는 기반 기술"이라고 말했다.

이번 연구는 최찬혁 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했으며, 연구 결과는 인공지능·컴퓨터비전 분야 최고 권위 학회인 CVPR 2026에 채택됐다.

김종화 기자 justin@asiae.co.kr