크래프톤 음성 AI 모델 공개…"목소리 정보 활용, 게임 AI 고도화"

목소리 감정·억양 이해…자연스런 음성 생성
30B 이하급 모델 한국어 성능 1위·영어 3위

크래프톤 은 음성 인공지능(AI) 파운데이션 모델 'A.X K2 라온-스피치'를 글로벌 AI 플랫폼 허깅페이스에 공개했다고 29일 밝혔다.

크래프톤 기업 이미지(CI). 크래프톤 제공

크래프톤은 과학기술정보통신부가 주관하는 '독자 AI 파운데이션 모델' 프로젝트의 SK텔레콤 정예팀에 참여해 차세대 멀티모달 모델 연구를 주도하고 있다. 이번에 공개한 모델은 프로젝트 2차 성과 중 하나다.

A.X K2 라온-스피치는 SKT의 A.X K2 기반 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 적용한 것으로, 음성을 이해하고 생성할 수 있도록 학습했다. 이 과정에서 사용자 목소리에 담긴 정보들을 활용한다. 보통의 AI 음성 대화 시스템이 감정, 억양 등 사용자 음석에 담긴 정보를 희석시키는 단점을 보완했다.

모델 규모는 210억(21B) 파라미터며, 300억(30B) 이하급 공개 음성 언어 모델 중 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 평가는 음성 인식·합성·이해, 음성·텍스트 질의응답, 도구 호출 등 6개 영역에서 한국어 24개, 영어 22개 등 총 46개의 벤치마크를 활용했다.

크래프톤은 이번 연구를 통해 축적한 음성 AI 역량을 이용자와 함께 플레이하는 AI 캐릭터(CPC) 고도화에 활용한다. CPC가 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하는 등 이용자와 AI가 자연스럽게 상호작용하는 게임 경험을 구현한다는 계획이다.

이강욱 크래프톤 최고AI책임자(CAIO)는 "A.X K2 라온-스피치는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물"라며 "앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것"이라고 말했다.

노경조 기자 felizkj@asiae.co.kr