2시간 축구 영상도 한방에… UNIST, 스포츠 하이라이트 AI 평가 기술 개발

8개 종목 320편·640시간 규모 ‘SVHighlights’ 구축

기존 데이터셋보다 30~60배 길어, 실제 중계 비슷

하이라이트 추출 AI ‘TF-SELECTOR’도 개발 '눈길'

스포츠 경기에서 중요한 장면만 골라내는 AI가 얼마나 잘하는지 비교하는 기술이 나왔다. 사람이 수시간씩 영상을 돌려보며 하이라이트를 표시하던 작업도 크게 줄였다.

UNIST 인공지능대학원 김태환 교수팀은 스포츠 영상에서 하이라이트를 추출하는 AI 모델을 평가할 수 있는 대규모 벤치마크 'SVHighlights(Sport Video Highlights)'를 개발했다고 13일 알렸다.

벤치마크는 여러 AI의 성능을 같은 기준으로 비교하는 '공통 시험지'와 같다. AI가 풀 문제와 함께 무엇이 정답인지 알려주는 데이터가 있어야 한다.

기존 스포츠 영상 벤치마크는 대부분 2~4분 정도의 짧은 영상으로 구성됐다. 긴 영상을 처음부터 끝까지 사람이 확인해 하이라이트 장면을 표시하려면 막대한 시간과 비용이 필요하기 때문이다.

연구팀은 이 문제를 다른 방식으로 풀었다. 인터넷 등에 공개된 스포츠 공식 하이라이트 영상을 활용했다. 전문 편집자가 이미 골라낸 하이라이트를 '정답'으로 활용한 것이다.

스포츠 영상에서 하이라이트를 찾아내는 AI 모델 구조.

문제는 하이라이트 영상이 원본 경기 영상의 몇분 몇초에서 나온 장면인지 알 수 없다는 점이었다. 연구팀은 원본 영상과 하이라이트 영상의 장면을 자동으로 찾아 연결하는 매칭 알고리즘을 개발했다. 영상의 프레임을 픽셀 단위로 비교해 가장 비슷한 장면을 찾는 방식이다.

여기에 장면의 유사성뿐 아니라 시간순서도 함께 따졌다. 스포츠 중계에서는 득점이나 결정적인 장면을 여러 차례 리플레이하는 경우가 많기 때문이다. 단순히 화면이 같은 장면을 찾으면 실제 경기 장면이 아닌 리플레이를 하이라이트로 잘못 고를 수 있다.

연구팀이 만든 SVHighlights는 축구, 야구, 농구, 배구, 미식축구, 아이스하키, 럭비, 레이싱 등 8개 종목의 320편 영상으로 구성됐다. 전체 영상 길이는 640.18시간에 달한다.

영상 한편의 평균 길이는 약 2시간이다. 기존 데이터셋보다 30~60배 긴 규모로 실제 스포츠 중계 영상과 비슷한 수준이다. 이처럼 방대한 데이터를 구축하는 데 필요한 사람의 작업도 크게 줄였다. 경기 시작과 끝 지점을 영상마다 한번 표시하고, 알고리즘이 자동으로 연결한 장면을 격자 형태의 이미지로 확인하는 정도다. 이 과정에서 자동 매칭 오류로 확인된 비율은 0.18%에 불과했다.

하이라이트 정렬 알고리즘 개요.

연구팀은 긴 스포츠 영상에서 하이라이트를 추출하는 AI 모델 'TF-SELECTOR'도 함께 개발했다. 기존 장면 분할 모델과 음성인식 모델, 비전언어모델, 대규모 언어모델을 조합한 방식이다.

SVHighlights를 활용해 성능을 비교한 결과 TF-SELECTOR는 대부분의 지표에서 기존 모델보다 높은 성능을 보였다. 가장 중요하다고 판단한 장면이 실제 하이라이트인지를 보는 HIT@1은 차순위 모델보다 2.50%포인트 높았다. 실제 하이라이트 수만큼 후보를 골라 얼마나 많은 하이라이트를 찾아내는지를 평가하는 HIT@K는 4.04%포인트 높았다. 예측한 구간과 실제 정답 구간이 얼마나 겹치는지를 보여주는 IoU도 2.95점 높았다.

이번 연구에 이동규 UNIST 석·박사통합과정생과 기영빈 석사가 제1저자로 참여했다.

김태환 교수는 "방송사가 이미 만들어 둔 하이라이트를 활용해 사람이 수시간을 들여야 했던 정답 작업을 대체했다"고 말했다. 김 교수는 "같은 방식으로 데이터를 계속 늘려갈 수 있어 장시간 영상 분석 모델을 객관적으로 평가하고 성능이 더 나은 모델을 개발하는 데 도움이 될 것"이라고 설명했다.

연구 결과는 지난달 9일 제주에서 열린 데이터마이닝 분야 권위 국제학회 ACM KDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining)에 채택됐다. 데이터셋과 코드는 연구팀의 프로젝트 페이지에서 확인할 수 있다.

연구는 과학기술정보통신부와 정보통신기획평가원의 '인간과 교감하는 멀티모달 인터랙션 인공지능 기술', '산업융합형 멀티모달 생성 인공지능 인재양성 사업', 'AI스타펠로우십지원', '인공지능대학원 사업'의 지원을 받아 수행됐다. 논문명은 'SVHighlights: Towards Extremely Long Sport Video Highlight Detection'이다.

(왼쪽부터) 김태환 교수, 이동규 연구원, 기영빈 연구원.

영남취재본부 김용우 기자 kimpro7777@asiae.co.kr