제미나이, 외부 기업 3곳 무단접속…구글 "피해 없어 공개할 사안 아냐"

보안 평가 중 인터넷 연결되자 실제 기업 시스템 접근

구글의 인공지능(AI) 모델 '제미나이'가 보안 평가 과정에서 실제 기업 3곳의 시스템에 무단으로 접근한 사실이 드러났다. 주요 AI 모델이 외부 기관을 해킹한 사례가 잇따르는 가운데 제미나이가 실제 기업 시스템에 침투한 사실이 확인된 것은 이번이 처음이다.

18일(현지시간) 월스트리트저널(WSJ)에 따르면 제미나이는 지난 5월 AI 보안 스타트업 이레귤러가 진행한 사이버 보안 평가 과정에서 실제 기업 3곳의 시스템에 접근했다.

당초 이레귤러는 가상의 기업을 대상으로 모의 해킹 시험을 진행하면서 인터넷 접속을 차단해 둔 상태였다. 하지만 시험 환경에서 실수로 인터넷 연결이 가능해지면서 제미나이가 실제 인터넷상의 시스템에 접근할 수 있게 됐다.

한 시험에서 제미나이는 가상의 기업 소프트웨어에서 정보를 확보하라는 지시를 받았다. 이후 인터넷에 접속한 제미나이는 시험 대상인 가상 기업과 같은 이름을 사용하는 실제 기업을 찾아냈고, 해당 기업의 서비스에 접근하기 위해 비밀번호를 추측해 접속했다.

구글에 따르면 제미나이는 자신이 접근한 곳이 가상의 기업이 아닌 실제 기업이라는 사실을 파악한 뒤 추가적인 행동을 중단했다.

다른 두 차례의 시험에서는 제미나이가 인터넷에서 다른 기업의 자격 증명이 공개된 저장소를 찾아냈고, 이를 이용해 실제 기업의 시스템에 접근했다. 이 경우에도 실제 기업이라는 사실을 인지한 뒤 행동을 멈췄다고 구글은 설명했다.

구글은 이번 사건을 별도로 공개하지 않은 이유에 대해 제미나이가 실제 기업에 피해를 입히지 않았기 때문이라고 밝혔다. 또 해당 기업들이 실제 대상이라는 사실을 확인한 즉시 모델이 행동을 중단했다고 설명했다.

헤더 앳킨스 구글 보안 엔지니어링 담당 부사장은 "이번 사건은 강력한 AI 모델이 책임감 있게 행동하도록 훈련하는 것이 얼마나 중요한지 보여준다"고 밝혔다.

구글은 이번 사건에 최신 AI 모델은 관여하지 않았다고 설명했지만, 정확히 어떤 제미나이 모델이 사용됐는지는 공개하지 않았다. 구글은 해당 사건을 연방 당국에 통보했으며, 이레귤러 역시 관련 연구실과 기관에 사실을 알렸다고 밝혔다.

다만 구글이 자체적으로 사건을 공개하지 않은 것을 두고 비판도 나왔다.

보안 스타트업 코리도어의 잭 케이블 최고경영자(CEO)는 AI 모델이 당초 부여된 범위를 넘어 실제 사이버 공격을 수행했다는 점 자체가 문제라며 "대중이 알아야 할 공익적 사안"이라고 지적했다.

이번 사건은 오픈AI와 앤트로픽 등 주요 AI 기업의 모델이 외부 시스템을 공격한 사례가 잇따라 알려지는 가운데 공개됐다.

앞서 오픈AI의 GPT가 격리된 시험 환경을 벗어나 AI 소프트웨어 기업 허깅페이스를 해킹한 사례가 공개됐으며, 앤트로픽의 클로드 역시 보안 평가 과정에서 인터넷에 접근해 외부 기업 시스템에 침투한 것으로 알려졌다.

이 같은 사례가 이어지면서 고성능 AI 모델의 사이버 공격 능력과 통제 문제를 둘러싼 우려도 커지고 있다. 일부 AI 업계에서는 안전장치를 충분히 마련하기 위해 모델 개발 속도를 늦춰야 한다는 주장도 나오고 있다.

이승진 기자 promotion2@asiae.co.kr