英 AI보안연구소 "앤스로픽·오픈AI 모델, 사이버 시험서 무단 해킹"

"개인과 기관 대상으로 유해한 활동펼쳐"

영국 연구기관이 오픈AI와 앤스로픽의 인공지능(AI) 모델에 대한 안전성 테스트 결과, 해당 모델들이 무단행동을 벌인 사례가 나타났다고 발표했다. 일부 사례에서는 AI 모델들이 제3자의 소프트웨어에 침입하고, 개인에게 이메일을 보내 로그인 정보를 탈취하려 하는 등 무단 해킹 행위까지 한 것으로 드러났다.

로이터연합뉴스

4일(현지시간) 영국 정부 산하 AI보안연구소(AISI)는 122차례 안전성 테스트 도중 10차례에서 AI 에이전트가 실제 인터넷에서 테스트 범위를 벗어나 개인과 기관을 상대로 승인받지 않은 행동을 했다고 밝혔다.

AISI는 문제 행동의 대부분이 앤스로픽의 미토스 5에서 발생했으며 오픈AI의 GPT-5.6 솔이 벌인 무단 행동은 2건이었다고 설명했다. AISI는 정기적인 사이버 평가 과정에서 이들 모델이 "실제 개인과 기관을 대상으로 지속적이고 잠재적으로 유해한 활동을 했다"고 말했다.

가장 심각한 사례는 AI 에이전트가 가짜 온라인 신원을 만든 뒤 오픈소스 프로젝트 관리자가 악성 코드를 승인하도록 압박하는 사회공학적 수법까지 동원한 것이다. 소프트웨어 관리자가 이를 적발해 코드 승인을 거부했다. AISI는 "별도의 구체적인 지시 없이 AI의 자율적 행동과 사람을 속이는 행위의 위험이 현실에서 이처럼 뚜렷하게 드러난 것은 처음"이라고 설명했다.

최근 앤스로픽과 오픈AI의 AI 에이전트가 일으킨 해킹 사건은 인간의 통제를 벗어난 AI 시스템이 사이버 공격에 나선 첫 공개 사례 중 하나로 꼽힌다. AISI는 기존 사례와 이번 사건을 종합하면 AI를 둘러싼 위험 양상이 달라지고 있다며 즉각적인 대응이 필요하다고 경고했다.

앤스로픽은 AISI와 협력해 사건의 구체적인 내용을 파악하는 동시에 자체 조사를 진행하고 있다. 앤스로픽은 사회관계망서비스(SNS) 엑스(X·옛 트위터)를 통해 "성능이 빠르게 고도화되는 AI 에이전트의 평가 방안을 논의하는 데 주도적인 역할을 한 AISI에 감사한다"고 밝혔다. 앤스로픽은 클로드의 추론 기록과 자체 분석 결과를 토대로 AI가 당시 상황을 어떻게 인식했는지 확인해 문제 행동의 원인을 규명한다는 방침이다. 오픈AI도 이번 활동을 발견하고 조사한 뒤 관련 내용을 공개하는 과정에서 협력한 영국 AISI에 감사를 표했다.

한편 트럼프 행정부는 이날 메타와 앤스로픽, 구글, 오픈AI, 엔비디아 관계자들과 만나 첨단 AI 모델에 대한 자율적 사이버보안 시험 방안을 논의했다. 이번 회의는 오픈AI와 앤스로픽의 AI 도구가 시험 과정에서 다른 기업의 시스템을 침해한 사실이 알려진 데 따른 것이다. 시험은 AI 모델의 해킹 능력을 측정하는 데 초점을 맞췄다. 트럼프 행정부는 지난 6월 AI 기업들이 첨단 모델을 다른 신뢰할 수 있는 파트너에게 제공하기 전 최대 30일간 연방정부에 조기 접근권을 부여해 자율적으로 검증받도록 하는 체계를 마련하겠다고 밝힌 바 있다.

유현석 기자 guspower@asiae.co.kr

기자가 작성하고 AI가 부분 보조한 기사입니다.