"민주주의 위협" AI 딥페이크 탐지 모델 개발…선관위 활용한다

행안부-국과수, AI 모델 5종 추가 확보
허위정보 탐지율 92%로 이전 대비 향상
관계 부처 협력…디지털 범죄 대응 강화

정부가 선거를 겨냥한 딥페이크 조작 범죄에 대응하기 위해 인공지능(AI) 탐지 기술을 현장에 본격적으로 활용한다.

윤호중 행정안전부 장관이 10일 오후 서울 종로구 정부서울청사에서 AI 딥페이크 탐지 분석모델 시연에 앞서 모두 발언을 하고 있다.

행정안전부와 국립과학수사연구원은 지난해 열린 '딥페이크 대응을 위한 AI 탐지 모델 경진대회'를 통해 최종 선정된 5개 우수 모델을 중앙선거관리위원회에 제공한다고 10일 밝혔다.

이날 윤호중 행안부 장관은 딥페이크를 활용한 가짜뉴스에 대해 "민주주의를 위협하는 새로운 정보 범죄"라며 "왜곡된 정보로부터 유권자의 올바른 판단과 권리를 보호하는 것은 정부의 중요한 책무"라고 강조했다.

최근 생성형 AI 기술의 발전으로 특정인의 얼굴이나 음성을 정교하게 합성하는 딥페이크 범죄가 사회적 문제로 떠오르고 있다.

중앙선관위에 따르면 선거기간 딥페이크 영상 삭제 요청은 2024년 총선 당시 388건에서 지난해 대선에서는 1만510건으로 크게 늘었다.

기존에 국과수가 보유한 딥페이크 탐지 모델은 탐지 범위가 얼굴 영역에만 치중돼있어 고도화된 딥페이크 대응에 한계가 있었다.

AI 딥페이크 탐지 분석 모델. 행정안전부 제공

지난해 1077명이 참여한 민간 경진대회를 통해 5종의 우수 모델을 추가로 확보함으로써 얼굴 위주의 국소 분석을 넘어 배경·신체 등 영상 전체를 판별하는 전역 탐지 기술을 갖게 됐다.

이번 모델의 허위정보 탐지율은 92%로 이전 모델(76%)보다 크게 향상됐다고 행안부는 설명했다.

국과수의 딥페이크 탐지 서비스에 로그인한 후 딥페이크 조작이 의심되는 비디오나 이미지, 오디오 파일을 업로드 하면 진위를 판별해주는 식이다.

이날 시연회에서 가짜 선거운동 영상을 업로드한 뒤 영상, 오디오 탐지모델을 가동시키자 'Fake 99.99%'라는 결과가 나왔다. 결과는 각 모델별 다수결 투표 방식으로 도출된다.

결과값은 0~100까지 나오는데 0에 가까울수록 실제 영상일 확률이 높고 100에 가까울수록 딥페이크 가짜 영상일 확률이 높다.

조봉기 선관위 조사국장은 "유권자가 딥페이크 영상을 발견하면 선관위에 신고하면 된다. 400명의 모니터링 요원을 운영하고 있기도 하다"고 말했다.

이어 "선관위에서는 딥페이크가 유권자의 판단에 영향을 미치는 것을 최소화하기 위해 발견 즉시 해당 플랫폼이나 당사자에 삭제 요청을 하고 있다"고 설명했다.

공직선거법에 따라 선거 90일 전부터 선거일까지 선거운동 목적으로 딥페이크 영상을 제작, 유포, 게시하면 7년 이하의 징역형 또는 1000만 이상 5000만원 이하 벌금형에 처한다.

행안부와 국과수는 앞으로 AI 딥페이크 분석 모델의 활용 범위를 단계적으로 확대할 계획이다. 성평등가족부, 방송미디어통신위원회, 경찰청 등 관계 부처와 협력해 디지털 범죄 대응을 강화한다.

윤 장관은 "딥페이크로 의심되는 이미지나 영상이 포착됐을 때 과학적 분석을 통해 조작 여부를 신속히 확인하고 관계기관이 함께 필요한 대응을 적시에 할 것"이라고 밝혔다.

김보경 기자 bkly477@asiae.co.kr