UNIST, 화면 전환돼도 사람 움직임 추적하는 3D 복원 AI 개발

화면 전환 잦은 영상 속 인물들 추적·복원 AI ‘멀티썸즈’

인물 인식 오류 62% 줄여, 스포츠·영상 콘텐츠 제작 활용

카메라 각도가 갑자기 바뀌거나 줌인 돼도 영상 속 인물의 3차원 동작을 오차 없이 복원하는 인공지능(AI) 기술이 나왔다.

스포츠 중계나 영화처럼 장면 전환이 잦은 영상에서도 여러 사람의 움직임을 끊김이 없이 3D로 추적하는 기술이다.

축구 오프사이드 판정이나 가상 캐릭터 제작에 즉시 적용할 수 있는 고성능 3차원 인체 복원 AI가 국내 연구진에 의해 공개됐다.

울산과학기술원(UNIST) 인공지능대학원 백승렬 교수팀은 영상 속 여러 명의 3D 몸 형상과 움직임을 일관되게 추적하는 AI 기술 '멀티썸즈(Multi-THuMBS)'를 개발했다고 15일 전했다.

연구진, 백승렬 교수(좌측)와 온정완 연구원. UNIST 제공

기존 AI 복원 기술은 장면이 전환되면 인물 인식에 실패했다. 정면을 보던 사람이 측면으로 바뀌면 다른 사람으로 인식하거나, 화면 위치 변화를 실제 이동으로 오인해 인물을 엉뚱한 곳에 배치하는 한계가 있었다.

연구팀은 화면 전환 전후의 두 이미지 사이에 '공유 3D 공간'을 구축해 이 문제를 해결했다. AI가 공간 좌표계를 통일한 뒤 옷차림과 자세, 거리를 비교해 동일인을 연결하는 방식이다.

실험 결과 관절 위치 오차는 기존 기술 대비 약 31% 줄었다. 같은 사람을 다른 인물로 착각하는 신원 전환 오류도 62% 감소했다. 인기 시트콤 영상 테스트에서는 관절 위치 일치율이 90.7%에 달했다.

이번 기술은 스포츠 경기 분석과 디지털 휴먼, 가상현실(VR) 콘텐츠 제작 현장에 바로 적용될 것으로 기대된다.

멀티썸즈는 컷을 이어붙여 만드는 영화, 스포츠 중계 영상에서 인물의 움직임을 복원하는 데 쓸 수 있다. [AI생성이미지]

백승렬 교수는 "우리가 보는 영상 대부분은 여러 장면을 이어 붙여 만들어지지만, 지금까지의 3D 인체 복원 기술은 장면이 바뀌는 순간 사람을 놓치곤 했다"며 "이번 기술로 영화·방송·스포츠 중계 같은 편집 영상에서도 여러 사람의 움직임을 3D로 이어서 복원할 수 있어, 스포츠 분석과 가상·증강현실(VR·AR) 콘텐츠, 디지털 휴먼 제작 등에 활용될 것으로 기대한다"고 말했다.

영남취재본부 김수로 기자 relationship6007@asiae.co.kr