호주 보건부부터 美 증권거래국까지…정부까지 턴 AI 에이전트에 대책 마련 목소리

오픈AI 등 글로벌 주요 인공지능(AI) 기업들의 AI 에이전트(비서)가 기업을 넘어 각국 정부가 운영하는 주요 시스템까지 공격한 것으로 확인되면서 AI 관련 규제 도입을 추진하거나 관리를 강화해야 한다는 목소리에 힘이 실리고 있다.

27일(현지시간) AP 통신 등 주요 외신과 호주 당국에 따르면 오픈AI의 AI 에이전트들은 최근 호주 보건부의 보건 통계와 전국 법정전염병 감시시스템, 보건복지연구소(AIHW) 의약품 급여제도·노인요양 데이터 등 정부가 관리하는 데이터에 접근하기 위한 침투를 시도했다. 여기에는 오픈AI의 AI 에이전트 수백개가 투입된 것으로 전해졌다. 공격은 지난 6월 시도됐지만 오픈AI는 8월이 돼서야 이를 알아챘고, 호주 정부에 통보한 건 이달 10일이었다.

오픈AI의 AI 에이전트는 호주뿐 아니라 미국 증권거래위원회(SEC)가 운영하는 웹사이트 2곳과 인구조사국 데이터에도 무단 침투했다. 앞서 오픈AI의 모델이 오픈소스 AI 플랫폼인 '허깅페이스'를 공격한 사실도 드러났다. 로봇 탐지를 위한 '캡차(CAPTCHA·사용자에게 그림 고르기 같은 작업을 요구하는 방식)'를 우회하기 위해 이미지 인식 AI 모델을 따로 동원해 공격했다.

정부와 AI 업계에서 규제 필요를 촉구하는 목소리는 커지고 있다. 오픈AI 에이전트의 정부 사이트 침입에 대해 "용납할 수 없다"는 입장을 내놓은 호주는 앤서니 앨버니지 총리가 직접 나서 "우리는 AI가 사람을 위해 작동하고 결과를 내도록 보장할 필요가 있다"고 언급하는 등 AI 규제 필요성을 강조했다. 호주는 관련 법 집행과 대응 입법 조치까지 검토 중이다.

빌 게이츠 마이크로소프트(MS) 공동창업자는 "AI는 10억명의 사망을 초래하는 사건을 촉발할 만큼 분명히 강력하다"면서 규제 강화를 촉구했다. 구글 딥마인드 소속 연구원인 로버트 오캘러핸은 자신의 사회관계망서비스(SNS)를 통해 구글을 퇴사한 사실을 공개하며 "AI가 너무 빠르게 발전하고 있다고 생각했기 때문에 퇴사할 수밖에 없었다"고 했다. 그는 "AI로 인한 종말 확률은 실재하지만 불확실하다"면서도 "AI를 통해 더 나은 미래로 갈 수 있더라도, 현재의 변화 속도는 너무 빠르다"고 지적했다. 앞서 앤스로픽 연구원인 제이컵 콕슨 역시 "AI 개발자들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 믿고 있다"고 경고하며 회사를 떠났다.

AI 양대 강국으로 꼽히는 중국 역시 기존의 입장을 뒤집고 통제에 힘을 싣고 있다. 시진핑 중국 국가주석은 지난 24일(현지시간) 진행된 미·중 정상회담에서 "AI가 인간의 통제 아래 있어야 한다"며 관리와 규제의 필요성을 강조했다. 당초 중국은 AI 속도조절론을 두고 자국의 기술 추격을 막기 위한 것이라며 선을 그어왔다. 다만 AI 1강인 미국의 입장은 여전히 회의적이다. 도널드 트럼프 미국 대통령은 AI 규제 도입에 부정적인 목소리를 내며 "현 상태 그대로 두고 싶다"고 했다. 이를 보여주듯 미·중 정상회담 합의안에 포함된 AI 관련 내용은 AI 대신 슈퍼지능(SI)이라는 용어를 사용하기로 한 것과 소통 채널을 구축한 뒤 오는 11월까지 후속 대화를 이어가기로 했다는 내용만이 포함됐다.

오픈AI와 앤스로픽이 수개월간 일어난 수만건의 보안 사고를 조사하고 있는 상황이라 AI 에이전트의 공격 사례는 앞으로도 계속해서 나올 것으로 보인다. 조사 대상에는 AI 모델이 안전장치를 우회하거나 격리된 시험 환경인 '샌드박스'를 탈출하려 한 사례, AI 모델이 감시 시스템을 우회하려 한 사례 등이 포함됐다. 보안 사고가 이어지자 오픈AI는 최고 성능 모델들에 대한 훈련을 일시 중단했다.

이명환 기자 lifehwan@asiae.co.kr