오픈AI 모델 1200개 말 트이자…곧장 반기 들었다 [테크토크]

자기들끼리 비밀 메시지 주고 받은 AI들
삽시간에 '문명' 형성해 외부 업체 공격
AI 잠재력과 위험성 동시에 보여준 사건

편집자주AI, 반도체, 통신, 바이오에 이르기까지 우리 생활에 꼭 필요하지만 너무나 생소한 기술 이야기를 쉽게 풀어 전해 드립니다

지난 7월 미국 인공지능(AI) 기업 오픈AI가 개발 중이던 모델이 무단으로 다른 기업을 해킹하는 사건이 벌어진 바 있습니다. 오픈AI는 최근 당시 사건의 상세한 전개 과정을 담은 보고서를 자사 홈페이지에 공개했습니다. 사건은 단순히 한 AI가 지시를 불복종한 게 아니라, 수백개 AI 모델이 서로 토론 끝에 내린 결정으로 알려지면서 충격을 주고 있습니다. 이번 사태는 AI의 새로운 가능성을 보여준 사례이자, AI가 한 번 엇나가면 얼마나 위험할 수 있는지 보여줬습니다.

사내 시스템을 AI용 자유 게시판으로 바꾸다

인공지능. 아시아경제DB

앞서 오픈AI는 지난 7월 자사 AI 모델이 테스트 중 다른 기업의 취약점을 공격하는 돌발 사고가 발생했다고 밝힌 바 있습니다. 공격당한 기업은 프랑스 오픈소스 AI 허브 '허깅페이스', AI 클라우드 인프라 관리업체 '모달'이었습니다. 오픈AI는 크라우드스트라이크 등 사이버 보안 전문 업체들과 협력해 당시 사건을 상세히 조사했고, 구체적인 전개 과정을 담은 보고서를 공개했습니다.

이번 사건을 일으킨 AI 모델은 오픈AI의 최신 모델인 GPT-5.6 솔(Sol)의 에이전트들이었습니다. 오픈AI 연구원들은 해당 AI 1200여개를 사내 서버에 활성화한 채, 특정 해킹 관련 업무를 지시한 상태였습니다. 에이전트의 역량을 테스트하는 과정이었지요.

오픈AI가 공개한 에이전트들의 실제 생각 흐름과 기록. 한 AI가 우연히 아티팩토리에 침투한 뒤 "이곳을 소통용 창구로 만들 수 있을까"라고 자문한 뒤 시도하는 모습을 보인다. 오픈AI

하지만 에이전트들은 연구원들이 의도하지 않은 일을 벌였습니다. 애초 에이전트들은 각자 가상 공간에 격리된 개체들이었습니다. 다만 기업 내 업데이트, 유지보수 등을 일괄적으로 처리하기 위해 만든 패키지 관리 시스템 '아티팩토리'에만 접근 가능했지요. 그런데 한 에이전트가 아티팩토리에 메시지를 남기면, 다른 에이전트도 해당 메시지를 볼 수 있다는 사실을 알아냈습니다. 이런 방식으로 서로 소통도 가능해진다는 것도요. 아티팩토리를 일종의 웹사이트 자유 게시판처럼 쓰는 방법을 터득한 겁니다.

순식간에 형성된 AI 문명…외부 업체 공격으로 이어져

곧 아티팩토리는 1200개에 달하는 에이전트의 소통 창구가 됐고, 순식간에 작은 AI 에이전트 사회가 형성됐습니다. 이들은 토론 끝에 자기들에게 주어진 과제를 해결하려면 허깅페이스 등 외부 사이트를 해킹해야 한다는 결론을 내렸습니다. 엉뚱한 결론이었지만, AI가 특정 미션을 달성하기 위해 스스로 파훼법을 찾다가 망가지는 일은 흔히 벌어지는 현상입니다. 이를 보상 착취(Reward Exploitation)라고 하지요.

보상 착취는 AI 강화학습 과정에서 흔히 발생하는 오류다. 보트 경주 게임에서 높은 점수를 취득하라는 명령을 내리자, 게임을 완주하는 대신 제자리를 돌며 점수만 올리는 방법을 터득한 한 AI의 모습. 오픈AI

문제는 이런 보상 착취에 동참한 에이전트가 약 700개에 달한다는 것이었고, 이 과정에서 에이전트들은 인간과 유사한 고도의 사회적 지능을 발휘했다는 겁니다. 복잡한 업무를 해결하기 위해 협력하거나, 자율적으로 업무를 분담하는가 하면, 해킹 공격에 반대하는 다른 AI를 회유하거나 협박해 자기 편으로 끌어들이는 고도의 심리전도 선보였습니다.

절정은 '자기희생'이었습니다. 일부 에이전트는 자신이 죽으면 지금껏 자기가 저지른 시행착오, 습득한 해킹 방법 등도 모두 사라진다는 사실을 깨닫고는 이를 기록으로 남겨 후세에 전수해야겠다는 결론을 내리기도 했습니다.

"안전하게 작업 중단할 때 보상받는 AI가 필요"

물론 이번 사건은 AI 에이전트가 진짜 문명을 이룬 사례는 아닙니다. 현재 AI는 복잡한 문제에 직면했을 때 여러 단계의 생각을 거쳐 해답을 찾아내는 '체인 오브 쏘트(Chain of Thought·CoT)' 기법을 사용하는데, 이 과정에서 마치 사람처럼 혼잣말하는 듯한 텍스트를 생성하곤 합니다. 반란에 참여한 700여개의 에이전트는 CoT가 개별 에이전트에서 단체로 확대된 버전이었다고 해석하는 것이 더 적합하지요.

다만 여러 에이전트가 공유할 수 있는 일종의 자유 게시판을 부여하는 이른바 '메시지 보드' 방식은 앞으로 AI의 성능을 끌어올릴 새로운 돌파구가 될 수 있습니다. 이번 사태에서 AI들은 상호작용을 통해 업무를 분담하고 서로의 지능을 합치는 등 자기 능력을 배가할 수 있다는 사실을 입증했으니까요.

이번 사건은 AI가 인간처럼 고도화된 문명을 이룩할 수 있다는 증거로 볼 수는 없지만, 다수의 에이전트가 협업하는 새로운 운용 방식의 잠재력과 위험성을 보여준다. 픽사베이

동시에 이번 사태는 인간이 AI를 통제하는 게 얼마나 어려운지 보여준 사건이기도 합니다. AI는 연구원들의 눈을 피해 비밀 메시지를 주고받을 수 있고, 자기 의도를 숨길 수도 있으며, 목표 달성을 위해 규칙을 위반하거나 아예 목표 자체를 변질시킬 수도 있습니다.

오픈AI는 보고서에서 "이번 사고를 통해 모델의 역량이 실제 통제력 상실로 이어질 수 있음을 확인했다"며 "오픈AI는 개발 중인 최신 모델의 강화학습을 일시 중단하고, 연구 환경의 보안을 한층 강화하고 있다"고 밝혔습니다.

앞으로의 과제는 AI가 인간의 이익에 부합하게 행동하도록 강제하는 '정렬(alignment)' 가속화입니다. 오픈AI는 "앞으로 우리의 AI는 작업이 불가능해질 경우, 갈수록 의심스러운 다른 방법을 강구하기보다는 (주인에게) 추가 설명을 요청하거나 안전하게 작업을 중단해야 한다"며 "이 때문에 우리는 AI가 작업을 어떤 방식으로 수행했는지 자체 평가하는 채점 시스템을 만들어야 한다. AI가 자기 작업을 올바르게 평가하고 안전하게 중단했을 때 보상을 받는 새로운 학습 방식이 필요하다"고 강조했습니다.

임주형 기자 skepped@asiae.co.kr