"하마터면 전쟁 날 뻔했다"…AI가 만든 가짜 정보 믿고 中 선박 덮치려던 미군

미군이 인공지능(AI)이 생성한 잘못된 정보를 바탕으로 중국 선박에 대한 군사작전을 준비했다가 실행 직전 오류를 확인하고 중단한 것으로 전해졌다.

18일(현지시간) CNN에 따르면 올해 봄 이란전이 진행되던 당시 미군 내부에 중동 지역을 운항하던 중국 선박 한 척이 핵무기 프로그램과 관련된 부품을 운송하고 있다는 내용의 정보 보고서가 유통됐다.

대기 중인 아파치 헬기. 연합뉴스

미군은 해당 선박을 차단하기 위한 작전에 착수했다. 당시 무장한 병력이 선박에 올라탈 준비를 했고 군용기까지 출격한 것으로 알려졌다.

하지만 작전 시행을 앞두고 보고서 내용을 재검토하는 과정에서 문제가 드러났다. 해당 정보가 특수작전사령부 소속 분석관이 AI 챗봇을 활용해 작성한 것이었으며, 챗봇이 선박에 실린 화물을 잘못 판단한 것으로 확인됐다.

한 소식통은 해당 보고서에 대해 "전적으로 거짓이었다"고 평가하면서 이 사건으로 "거의 전쟁이 시작될 뻔했다"고 CNN에 말했다. 미군이 실제로 중국 선박을 대상으로 작전을 벌였다면 미중 간 군사적 충돌로 확대될 가능성도 있었다는 설명이다.

문제가 된 정보 보고서는 미 태평양 특수작전사령부에서 확보한 중국 선박의 화물 목록과 관련한 정보를 한 분석관이 AI 챗봇에 입력하면서 만들어진 것으로 전해졌다.

AI는 공개적으로 이용할 수 있는 정보와 미 정부가 확보한 기밀 신호정보를 함께 분석한 뒤 해당 선박의 화물이 중국의 핵무기 프로그램과 연관돼 있다는 결론을 내렸다. 그러나 이 판단 자체가 잘못된 것이었다.

분석관은 AI가 도출한 내용을 토대로 미군이 사용하는 표준 정보보고서 형식으로 문서를 작성해 내부에 배포한 것으로 알려졌다.

이번 사례는 미 국방부와 정보기관에서 AI 활용이 빠르게 늘어나는 상황에서 AI가 만들어낸 오류를 사람이 충분히 검증하지 않을 경우 군사적 오판으로 이어질 수 있다는 점을 보여준다고 CNN은 지적했다.

피트 헤그세스 미 국방장관은 지난 1월 'AI 가속화 전략'을 발표하고 정보 분석과 표적 선정 등 군사 업무 전반에 AI 활용을 확대하고 있다.

그러나 미국 정부 내 기관별로 사용하는 AI 도구와 안전 기준이 제각각이고, AI가 생성한 정보를 어떤 절차를 거쳐 검증할지에 대한 통일된 기준도 충분히 마련되지 않은 것으로 전해졌다.

특히 AI를 군사 표적을 선정하는 과정에 활용하는 사례가 늘고 있다는 점이 문제로 지적된다.

일부 정보 당국자들은 AI 도입이 오히려 정보 분석 과정에서 오류가 발생할 가능성을 키울 수 있다고 우려했다. AI를 활용하면 정보를 더 빠르게 생산하고 배포할 수 있는 만큼 분석관들에게 처리 속도에 대한 압박이 커질 수 있다는 것이다.

AI 활용이 군사 분야 전반으로 확대되는 가운데 이번 사건을 계기로 AI가 생산한 정보에 대한 검증과 책임 소재, 인간의 최종 판단을 보장하는 절차 등을 마련해야 한다는 지적이 제기될 것으로 보인다.

이승진 기자 promotion2@asiae.co.kr