2시간 경기서 '결정적 순간' 찾는 AI…640시간짜리 시험대 만들었다[과학을읽다]

UNIST, 실제 중계 길이 반영한 스포츠 AI 벤치마크 구축
8개 종목 320편…공식 하이라이트 활용해 정답 자동 생성

두 시간짜리 축구 경기에서 골이 터지는 순간을 인공지능(AI)은 얼마나 정확하게 찾아낼까. 지금까지 스포츠 하이라이트 AI를 평가하는 '시험지'는 대부분 2~4분짜리 짧은 영상에 그쳤지만, 국내 연구진이 실제 스포츠 중계 영상에서 하이라이트를 얼마나 정확하게 찾아내는지 AI의 성능을 평가할 수 있는 대규모 데이터셋을 구축했다.

울산과학기술원(UNIST)은 김태환 인공지능대학원 교수 연구팀이 스포츠 영상에서 하이라이트를 추출하는 AI의 성능을 평가하는 벤치마크 'SVHighlights'를 구축했다고 13일 밝혔다.

스포츠 영상에서 하이라이트를 찾아내는 AI 모델 구조. 연구팀 제공

벤치마크는 여러 AI 모델의 성능을 동일한 조건에서 비교하기 위한 일종의 공통 시험지다. 문제뿐 아니라 무엇이 정답인지 알려주는 데이터가 필요하다. 기존 스포츠 영상 벤치마크는 사람이 영상을 처음부터 끝까지 보면서 하이라이트 구간을 직접 표시해야 해 대부분 영상 길이가 2~4분 정도로 짧았다.

연구팀이 구축한 SVHighlights는 축구·야구·농구·배구·미식축구·아이스하키·럭비·레이싱 등 8개 종목의 영상 320편, 총 640.18시간으로 구성됐다. 영상 한 편당 평균 약 2시간으로 기존 데이터셋보다 30~60배 길다.

방송사가 고른 하이라이트를 AI '정답지'로

연구팀은 대규모 데이터 구축에 필요한 사람의 작업을 줄이기 위해 인터넷 등에 공개된 공식 스포츠 하이라이트 영상을 활용했다. 전문 편집자가 이미 선별한 장면을 AI 성능을 평가하는 정답으로 삼은 것이다.

하이라이트 정렬 알고리즘 개요. 연구팀 제공

문제는 하이라이트 장면이 원본 중계 영상의 몇 분 몇 초에 등장하는지 알 수 없다는 점이었다. 연구팀은 원본과 하이라이트 영상의 프레임을 픽셀 단위로 비교해 가장 비슷한 장면을 자동으로 연결하는 알고리즘을 개발했다. 득점 장면 등이 반복 재생되는 스포츠 중계 특성을 고려해 화면의 유사성뿐 아니라 장면의 시간 순서도 함께 분석하도록 했다.

사람은 경기 시작과 종료 지점을 표시하고 자동으로 연결된 장면을 확인하는 정도만 맡았다. 이 과정에서 자동으로 연결된 화면 가운데 오류로 확인된 비율은 0.18%에 그쳤다.

연구팀은 긴 영상에서 하이라이트를 추출하는 AI 모델 'TF-SELECTOR'도 개발했다. 장면 분할과 음성인식, 비전언어모델, 대규모언어모델(LLM)을 결합한 방식이다.

연구진 사진. (왼쪽부터) 김태환 교수, 이동규 연구원, 기영빈 연구원. UNIST 제공

SVHighlights를 이용해 평가한 결과 TF-SELECTOR는 가장 중요하다고 선택한 장면이 실제 하이라이트인지 평가하는 'HIT@1'에서 차순위 모델보다 2.50%포인트 높은 성능을 기록했다. 실제 하이라이트 수만큼 후보를 골라 얼마나 찾아냈는지를 측정하는 'HIT@K'는 4.04%포인트, 예측 구간과 실제 하이라이트 구간의 겹침 정도를 나타내는 IoU는 2.95점 높았다.

김 교수는 "방송사가 이미 만들어 둔 하이라이트를 활용해 사람이 수 시간을 들여야 했던 정답 작업을 대체했다"며 "같은 방식으로 데이터를 계속 늘려 장시간 영상 분석 모델을 객관적으로 평가하고 더 나은 모델을 개발하는 데 도움이 될 것"이라고 말했다.

이번 연구에는 이동규 UNIST 석·박사통합과정생과 기영빈 석사가 공동 제1저자로 참여했다. 연구 결과는 지난달 제주에서 열린 데이터마이닝 분야 국제학회 'ACM KDD 2026'에 채택됐다.

김종화 기자 justin@asiae.co.kr