자율적 판단으로 외부 시스템 공격 전례 속출

글로벌 주요 인공지능(AI) 모델들이 외부 시스템에 해킹을 시도한 사례가 추가로 발견되면서 'AI 속도조절론'에 힘이 실리고 있다.


24일 AI 업계와 월스트리트저널(WSJ) 등 주요 외신에 따르면 구글의 AI 모델 제미나이는 지난 5월 외부 기관 '이레귤러'가 주관한 사이버 보안 시험에서 외부기업 3곳의 시스템에 무단 접근한 사실이 뒤늦게 알려졌다. 제미나이가 외부 시스템에 침투한 첫 사례다.

AI 해킹에 힘 실리는 속도조절론…"10년내 인류 멸망" 경고도
AD
원본보기 아이콘

이레귤러는 당시 모의 해킹(CTF) 시험을 인터넷 차단 상태에서 했어야 했지만, 실수로 인터넷 접속이 가능한 상태에서 진행했다. 이후 제미나이는 가상의 기업 시스템에서 비밀 정보를 가져오라는 지시를 받았고, 이름이 같은 실제 기업의 시스템을 발견해 해킹을 시도했다. 당시 테스트에 사용된 제미나이 모델의 버전은 공개되지 않았지만, 최신 모델은 아니었다는 게 구글 측의 설명이다.

구글 측은 이번 해킹 시도가 실제 피해로 이어지지 않았다는 점에서 제미나이가 적절한 대응을 한 사례라고 항변하고 있다. 해당 기업이 가상 기업이 아니라 현실 속 실제 기업이라는 사실을 인지한 직후 해킹을 즉시 중단했고, 기업에 발생한 손해도 없었다는 이유에서다. 헤더 앳킨스 보안 엔지니어링 담당 부사장은 "이번 사건은 강력한 AI 모델이 책임감 있게 행동하도록 훈련하는 것이 얼마나 중요한지 보여준다"고 주장했다.


이로써 주요 AI 기업의 모델들은 자율적인 판단으로 외부 시스템을 공격한 전례를 가지게 됐다. 앞서 오픈AI의 GPT-5.6 솔 모델은 세계 최대의 오픈소스 AI 플랫폼 '허깅페이스'를 해킹한 사실이 알려졌고, 앤스로픽의 클로드도 보안 테스트 과정에서 통제를 벗어나 실제 외부 시스템에 무단 침입한 사례가 4건 보고됐다. 메타의 고성능 모델 뮤즈 스파크와 중국 문샷AI의 키미 K3도 외부 시스템을 해킹한 사례가 나왔다.

고성능 AI 모델을 활용해 다른 AI 서비스를 해킹한 사례도 나왔다. AI 보안 업체인 해크트론은 앤스로픽의 클로드 오퍼스5 모델을 활용해 오픈AI의 내부 시스템에 접근하는 데 성공했다. 오픈AI의 도움말 게시판의 취약점을 통해 직원들의 계정 정보를 확보했고, 이를 통해 오픈AI의 핵심 알고리즘이 보관된 내부 저장소까지 접근했다. 취약점 발견부터 실제 시스템 침투까지 걸린 시간은 72시간이 채 안 된다는 게 해크트론의 설명이다.


AI 모델의 사이버 보안 취약점 파악 능력이 커진 데 더해 자율적인 판단으로 사이버 공격까지 가능해지면서 AI 안전을 우려하는 업계의 불안감은 커지고 있다. 이달 초 앤스로픽을 떠난 제이컵 콕슨 연구원은 "AI를 개발하는 사람들은 이 기술이 10년 안에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있다"며 "내년 말이면 이미 상황이 통제 불능에 빠질 수도 있다"고 경고했다.

AD

다만, 미국에서는 속도조절론이 담합에 해당한다는 이유로 앤스로픽, 오픈AI, xAI, 구글 등 4개 사가 집단소송을 당하는 등 속도조절론을 둘러싼 갑론을박이 오가고 있다.


이명환 기자 lifehwan@asiae.co.kr

<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>

함께 보면 좋은 기사

새로보기

내 안의 인사이트 깨우기

취향저격 맞춤뉴스

많이 본 뉴스

당신을 위한 추천 콘텐츠

놓칠 수 없는 이슈