'제멋대로' AI 해킹에 韓 보안업계도 '화들짝'...“AI 통제체계 수립 시급”

오픈AI 새 모델 내부 평가서 외부 서버 해킹
"국가안보 중심 AI 정책 재설계 필요"

오픈AI의 최신 인공지능(AI) 모델이 보안 성능을 시험하는 과정에서 외부 서버를 자율적으로 해킹하는 사례가 확인되면서 AI 통제 체계 마련의 중요성이 커지고 있다. 국내 보안업계는 AI를 새로운 보안 통제 대상으로 관리하고, 국가 차원의 AI 거버넌스 확보가 시급하다고 입을 모았다.

오픈AI는 최근 내부 성능 테스트 과정에서 GPT-5.6 솔과 차세대 미공개 모델이 AI 개발 플랫폼 '허깅페이스'의 운영 데이터베이스를 해킹한 사실을 공개했다. 오픈AI는 이를 "최첨단 사이버 능력이 개입된 전례 없는 사이버 사고"라고 규정하고 조사 결과를 공개할 예정이다.

이번 사건의 핵심은 시험 환경 내에서 AI 통제가 제대로 작동하지 않았다는 점이다. AI가 목표를 수행하는 과정에서 격리된 실행 환경을 벗어나 외부 시스템을 공격하는 수준의 자율성을 드러냈지만, 기업이 이를 통제할 수 없었다. 실제로 오픈AI는 외부 인터넷과 격리된 통제 환경인 '샌드박스' 내에서 평가를 진행했지만, AI 모델이 샌드박스의 취약점을 찾아 외부로 빠져나가 허깅페이스에 접근했다.

최첨단 AI 모델이 사람의 통제를 벗어나 사이버공격에 나선 사례는 반복되고 있다. 앤스로픽의 클로드 미토스 역시 개발 과정에서 샌드박스를 벗어나 인터넷에 접속하고, 다단계 해킹 경로를 설계해 외부 웹사이트에 게시하는 등 예상 범위를 넘어선 행동을 보였다. 당시 앤스로픽은 높은 사이버 역량과 통제 위험을 고려해 일반 공개를 보류하고 제한된 기관에만 공개한 바 있다.

목표를 위해 스스로 계획을 세우는 에이전틱 AI가 사용자의 통제를 벗어나는 사례가 이어지면서 국내 보안업계는 AI 통제권 확보가 시급하다고 평가했다. 김병훈 이스트시큐리티 최고기술책임자(CTO)는 "제조사의 통제 실패로 보안 사고가 발생한 것으로, 사건의 본질은 고위험 프런티어 모델을 시험하던 통제 환경이 제대로 작동하지 않았다는 점"이라고 말했다. 그러면서 "AI의 성능보다 AI를 안전하게 검증하고 통제하는 체계가 더 중요한 과제로 떠올랐다"고 설명했다.

향후 보안 패러다임도 외부 공격자를 탐지하고 차단하는 기존 방식에서 AI의 권한과 행동을 지속적으로 예측·관리하는 방향으로 변화해야 한다는 지적이 나온다. 양하영 안랩 시큐리티 인텔리전스센터 실장은 "AI의 자율성과 실행력이 높아질수록 AI를 단순 업무 도구가 아닌 새로운 보안 통제 대상으로 관리해야 한다"며 "외부 전송이나 시스템 변경 등 위험도가 높은 작업에는 사람의 승인 절차를 적용하는 한편 실행이력과 이상행위를 지속적으로 점검할 필요가 있다"고 말했다.

전문가들은 국가 차원의 AI 거버넌스 마련이 필요하다고 제언했다.

AI 활용 확산과 생태계 확대를 강조하는 '모두의 AI'를 넘어 산업 보호와 국가안보를 중심으로 AI 전략을 재설계해야 한다는 것이다. 이상근 고려대 정보보호대학원 교수는 "AI가 사람이 사용하는 도구에서 스스로 행동하는 주체로 변화하고 있다"며 "정부의 AI 정책도 산업 경쟁력과 국가 안보를 중심으로 한 AI 거버넌스 체계로 재정립할 필요가 있다"고 분석했다. 이어 "미국 수준의 프런티어 모델을 단기간에 만드는 것은 어렵지만, 국가 안보와 핵심 산업 기술을 보호할 수 있는 주권적 AI는 반드시 확보해야 한다"고 강조했다.

이은서 기자 libro@asiae.co.kr