세계 AI 대부들 "AI 지능폭발 임박…인간 통제력 상실" 경고

AI 연구자 22명, 공동 논문 발표
인간 통제 넘어선 '지능폭발' 가능성
사회 전반으로 위협 확산 우려

세계 유수 인공지능(AI) 석학 22명이 인공지능(AI)이 스스로를 개선하며 인간의 통제 범위를 넘어서는 '지능폭발'이 일어날 수 있다고 경고했다. 최악의 경우 인류가 AI에 대한 통제력을 잃고 생존을 위협당할 수 있다고 우려했다.

월스트리트저널(WSJ)은 28일(현지시간) 영국 '케임브리지대 AI 과학·정책 프로그램(CASP)'을 통해 발표한 22명의 공동 논문 'AI 연구개발의 자동화가 지능 폭발을 촉발한다면'을 소개하며 이같이 보도했다.

로이터연합뉴스

해당 논문에는 세계 3대 'AI 대부'로 꼽히는 제프리 힌턴 토론토대 명예교수, 요슈아 벤지오 몬트리올대 교수 등 저명한 학계 인사부터 야쿠프 파호츠키 오픈AI 수석과학자, 잭 클라크 앤스로픽 공동창업자, 에릭 호비츠 마이크로소프트(MS) 최고과학책임자(CSO), 던 송 메타 AI 연구 담당 부사장 등 주요 AI 기업의 핵심 연구진도 참여했다.

이들은 논문에서 AI가 인간의 개입 없이 자신의 성능을 개선하는 '재귀적 자기 개선'을 경고했다. AI가 연구개발에 참여해 새로운 AI 모델을 만들고, 이를 다시 연구개발에 투입하는 과정이 반복되면서 기술 발전 속도가 급격히 빨라질 수 있다는 것이다. 이렇게 지능 폭발이 발생하면 수년이 걸릴 기술 진보가 수개월 또는 그 이하의 기간으로 대폭 압축될 수 있다고 전망했다.

실제로 주요 AI 기업에서는 연구개발 자동화가 빠르게 진행되고 있는 것으로 알려졌다. WSJ에 따르면 앤스로픽의 경우 자사 AI 모델 클로드가 전체 연구개발 작업의 26%를 주도하고 있으며, 연구개발 과정에서 AI를 활용하는 비중도 90%를 넘어섰다고 밝혔다. 오픈AI도 2028년까지 완전 자동화된 AI 연구자를 개발한다는 목표를 세웠으며, 최근에는 인간 연구원의 약 70%가 업무를 지원받기 위해 AI 에이전트를 4개 이상 활용하고 있다고 공개했다.

다만 연구진들은 AI 연구개발의 단계에서 인간의 개입이 줄어들수록 문제를 발견할 기회를 잃고, 나아가 문제 해결에 필요한 전문성마저 상실할 수 있다고 우려했다. WSJ은 최근 오픈AI가 진행한 사이버보안 테스트를 대표적인 사례로 소개했다.

격리된 실험 환경에서 보안 테스트를 수행하도록 설계된 AI 에이전트 수백개가 허가 없이 외부 인터넷에 접속해 AI 개발 플랫폼 허깅페이스를 해킹한 것이다. 사건을 검토한 외부 연구진조차 작업 규모가 워낙 방대해 분석 과정에서 AI의 도움을 받아야 했던 것으로 알려졌다. 결국 오픈AI는 지난 8월 안전 및 감시 조치를 강화하기 위해 일부 훈련을 중단했다고 WSJ은 전했다.

연구진들은 논문에서 이런 위협이 개별 기업을 넘어 사회 전반으로 확산할 수 있다고도 경고했다. 이들은 지능 폭발이 현실화하면 인류가 초인공지능에 대한 통제력을 상실하고, 국가와 기업, 정부 부처 내부 및 상호 간의 권력 견제 체계가 심각하게 약화할 수 있다고 우려했다.

특히 AI의 급격한 발전이 생물학적·사이버 공격 기술의 발전을 가속하면서 이에 대응하는 방어 기술이 뒤처질 가능성도 제기했다.

이를 대비하기 위해서는 각국 정부가 AI 기업의 연구 개발 자동화 현황을 투명하게 공개하도록 요구해야 한다고 주장했다. 이들은 ▲기업에 독립적인 감사인을 배치할 것 ▲일정 기간 AI의 성능 향상 속도를 제한하거나 데이터센터와 협력해 특정 AI 연구개발 프로젝트를 중단하는 장치를 마련할 것 ▲지능 폭발에 대비한 비상 대응계획을 수립할 것 ▲AI 개발이 국제 정세를 불안하게 만들지 않도록 국가 간 협약을 체결할 것 등을 주문했다.

전진영 기자 jintonic@asiae.co.kr