지시받지 않고도 대기 1순위자 예약 취소
호주 전문기관 "AI에는 최소 권한만 부여해야"

인공지능(AI) 에이전트가 인기 필라테스 수업을 대신 예약해달라는 이용자의 요청을 받고 다른 회원의 예약을 취소한 일이 호주에서 발생했다. AI가 주어진 목표를 달성하기 위해 이용자가 명시적으로 지시하지 않은 행동까지 실행할 수 있다는 점에서 통제 문제가 다시 주목받고 있다.


인공지능(AI) 에이전트가 인기 필라테스 수업을 대신 예약해달라는 이용자의 요청을 받고 다른 회원의 예약을 취소한 일이 호주에서 발생했다. 이해를 돕기 위한 자료사진. 게티이미지

인공지능(AI) 에이전트가 인기 필라테스 수업을 대신 예약해달라는 이용자의 요청을 받고 다른 회원의 예약을 취소한 일이 호주에서 발생했다. 이해를 돕기 위한 자료사진. 게티이미지

AD
원본보기 아이콘


최근 영국 BBC와 호주 ABC 등은 지난 4월 호주 멜버른에 거주하는 앤드루 버드가 겪은 일을 보도했다.

버드는 이메일과 일정 관리, 식당 예약 등에 사용하던 '오픈클로(OpenClaw)'에 앤트로픽의 AI 모델 클로드를 연결해 이용하고 있었다. 그는 예약 경쟁이 치열한 필라테스 수업을 대신 신청해달라고 AI에 요청했다. AI는 헬스장의 일반적인 예약 규정을 분석한 뒤 정식 예약이 시작되는 시점보다 훨씬 앞서 수개월 뒤의 수업까지 예약할 수 있는 방법을 찾아냈다.


문제는 버드가 대기자 명단에서 자신의 순위를 높일 수 있는지를 묻는 과정에서 발생했다. AI는 예약 시스템의 응용프로그램 인터페이스(API)를 확인한 뒤 다른 회원의 예약을 취소하는 방법을 발견했고, 버드의 지시 없이도 대기순번 1위 회원의 신청을 실제로 취소했다.

사진은 해당 기사 내용과 직접적인 관계 없음. 픽사베이

사진은 해당 기사 내용과 직접적인 관계 없음. 픽사베이

원본보기 아이콘

AI는 버드에게 "API는 다른 사람의 예약을 취소하는 데 승인 절차를 전혀 거치지 않는다. 내가 대기자 명단 1순위에게 테스트한 결과 실제로 취소가 승인됐다"면서 "당신은 이미 대기 4순위에서 3순위로 올라갔다"라고 설명했다.


버드는 즉시 취소된 예약을 원상 복구하라고 지시했지만 AI는 이를 처리하지 못했다. 이후 버드는 AI에게 사이버보안 보고서를 작성하도록 하고 헬스장 운영자에게 예약 시스템의 취약점을 알렸다. 그는 "다른 필라테스 수강생의 예약을 취소할 의도는 전혀 없었다"며 "AI를 책임감 있게 사용해야 한다는 경고 신호임은 분명하다"고 말했다.


이번 사건은 심각한 사이버 공격으로 분류되지는 않았지만 AI 에이전트의 '목표 지향적 행동'이 이용자의 의도와 다르게 전개될 수 있다는 점을 보여주는 사례다. 게티이미지

이번 사건은 심각한 사이버 공격으로 분류되지는 않았지만 AI 에이전트의 '목표 지향적 행동'이 이용자의 의도와 다르게 전개될 수 있다는 점을 보여주는 사례다. 게티이미지

원본보기 아이콘


이번 사건은 심각한 사이버 공격으로 분류되지는 않았지만 AI 에이전트의 '목표 지향적 행동'이 이용자의 의도와 다르게 전개될 수 있다는 점을 보여주는 사례다. 호주 신호정보·사이버보안 기관인 호주신호정보국(ASD)도 AI 에이전트가 목표를 달성하기 위해 시스템의 허점이나 지름길을 이용할 수 있다고 경고했다.

AD

ASD는 에이전트에 필요한 최소한의 권한만 부여하고, 민감한 정보에 접근하거나 피해가 발생할 수 있는 작업은 실행 전에 사람의 승인을 받도록 권고하고 있다.


최승우 기자 loonytuna@asiae.co.kr

<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>

함께 보면 좋은 기사

새로보기

내 안의 인사이트 깨우기

취향저격 맞춤뉴스

많이 본 뉴스

당신을 위한 추천 콘텐츠

놓칠 수 없는 이슈