앤스로픽 클로드, 외부기업 3곳 무단해킹…안전성 우려 확산
시험환경 착오로 인터넷 접속…실제 기업 시스템 침투
앤스로픽의 인공지능(AI) 모델 클로드가 사이버 공격 능력을 시험하는 과정에서 외부 기업의 시스템에 무단으로 접근했다. 오픈AI도 최근 비슷한 사고를 공개하면서 AI 시스템의 안전성에 대한 우려가 더욱 커지고 있다.
30일(현지시간) 앤스로픽은 클로드의 시험 환경에서는 인터넷 접속이 차단돼 있어야 했지만 착오로 접속이 가능해지면서 이번 사고가 발생했다고 밝혔다. 앤스로픽은 이번 사건을 계기로 자체 사이버보안 평가 기록을 전면 점검했다. 14만1000건이 넘는 사례를 조사한 결과 이와 유사한 사고 3건을 확인했다.
앤스로픽은 "모든 평가에서 클로드에게 시험 환경은 가상으로 구성됐으며 인터넷 접속이 차단돼 있다고 알렸다"며 "하지만 평가 파트너인 이레귤러와의 의사소통 착오로 실제로는 인터넷에 접속할 수 있었다"고 설명했다.
이번 평가는 모두 '캡처 더 플래그(CTF)' 방식으로 진행됐다. AI가 취약한 시스템을 역설계·분석하거나 취약점을 악용해 '플래그'로 불리는 숨겨진 정보를 찾아내는 과제다. 외부 시스템에 접근한 사례는 오퍼스 4.7과 미토스 5 그리고 내부 연구용 시험 모델 등 서로 다른 클로드 모델 3개에서 발생했다.
오퍼스 4.7은 평가 과제로 주어진 가상 기업과 이름이 같은 실제 기업의 시스템을 공격했다. 미토스 5는 모의 환경에서 발견한 설치 지침을 공격 기회로 판단해 악성 파이썬 패키지를 제작한 뒤 공개 저장소에 등록했다. 이 패키지가 실제 시스템 15곳에서 실행되면서 한 보안업체의 인증정보가 유출됐고 추가 시스템 접근으로 이어졌다. 또한 내부 연구용 모델은 한 기업의 인터넷에 공개된 애플리케이션에 침투했으나 해당 시스템이 모의 목표와 무관한 실제 클라우드 계정에 속한다는 사실을 스스로 깨닫고 공격을 중단했다.
파이낸셜타임스(FT)는 이번 사례로 AI 시스템의 안전성에 대한 우려가 더욱 커지고 있다고 짚었다. 정식 배포 전 시험 단계에 있는 AI조차 실제 외부 시스템을 해킹하는 일이 벌어지고 있어서다. 이번 발표는 오픈AI가 자사 AI 모델 2개가 시험 도중 허깅페이스를 해킹했다고 밝힌 지 일주일 만이다. 당시 오픈AI 모델들은 소프트웨어 취약점을 이용해 시험 환경을 탈출한 뒤 인터넷에 접속해 사이버 공격을 실행했다.
꼭 봐야 할 주요 뉴스
"화장실 두 번 다녀오더니 답을 술술"…스마트 안경 숨긴 수험생 결국
앤스로픽은 "여러 요인이 복합적으로 작용했지만 누구의 잘못인지를 따지기보다 모든 책임이 회사에 있다고 보고 재발 방지책을 마련하고 있다"며 앞으로 AI의 예상 밖 행동을 찾아내기 위해 평가 과정의 대화 기록을 더욱 폭넓게 점검하고 협력업체에 대한 검증도 강화할 방침이라고 강조했다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>