"AI 속도 늦추자" AI 개발 경쟁하던 3사, 안전 표준기구 설립 논의

앤스로픽·오픈AI·구글, 안전 표준기구 논의
사람 통제 벗어난 AI에 속도조절론 확산
미·중 경쟁 속 실효성은 미지수

인공지능(AI) 모델을 악용한 사이버공격뿐 아니라 통제 문제가 논란이 되자 AI 개발을 두고 경쟁해온 글로벌 기업들이 속도조절에 초점을 두고 AI 기술 공동 시험·감사 체계를 마련하기 위한 공동 표준기구 설립을 얘기하기 시작했다.

13일(현지시간) 글로벌 AI 업계에 따르면 앤스로픽과 오픈AI, 구글이 AI업계를 위한 표준기구를 공동으로 설립하는 방안을 논의 중이다. AI 기술의 안전성을 시험·감사할 업계 주도의 공동 체계를 마련하려는 취지로, 3사는 지난 7월부터 실무그룹 회의를 진행해온 것으로 전해졌다.

다리오 아모데이 앤스로픽 최고경영자(CEO)는 블로그를 통해 AI 기술 속도조절의 필요성을 언급하며 ▲AI 모델 개발을 감독하는 외부 '독립 평가자' 도입 ▲민주주의 진영의 AI 기업 간 공통 안전 기준 제정 ▲국제 공조로 구성되는 3단계 AI 통제 방안 등을 대안으로 제시했다. 아모데이 CEO는 공동 표준기구 설립과 관련해 "냉전 시대 미국과 소련이 맺은 SALT(전략무기 제한 협상)와 유사하다"고 설명했다.

아모데이 CEO는 최첨단 AI가 제기하는 위험이 커져 지금과 같은 속도로 개발을 지속하기 어렵다는 입장이다. AI 모델 성능이 임계치에 도달하기 전까지 1~2년의 시간을 확보하고, AI가 인간의 의도와 가치에 부합하게 행동하도록 기술을 개선하면 심각한 문제가 발생할 위험을 줄일 수 있다고 판단했다.

다른 AI 기업 수장들도 차례로 화답했다. 아모데이와 앙숙 관계인 샘 올트먼 오픈AI CEO는 "직원과 동일한 접근 권한을 가진 독립적 평가자를 두자는 제안은 매우 좋은 아이디어"라고 말했다. 데미스 허사비스 구글 딥마인드 회장 또한 "중대한 시점에 대응하기 위한 방향은 옳다"며 "우리가 최근 최첨단 AI를 위한 업계 차원의 표준기구 설립을 제안한 것도 이런 이유"라고 말했다. 사티아 나델라 마이크로소프트 CEO도 "인류에게 이익이 되지 않고 인간의 통제를 받지 못하는 슈퍼인텔리전스는 추구할 가치가 없다는 핵심 원칙에 기반해야 한다"며 "정렬을 설계 목표로 삼기 위해 필요한 연구, 초점, 신중한 속도를 환영한다"고 했다.

이러한 논의의 배경에는 AI가 스스로 차세대 AI 모델을 개발하는 재귀적 자기 개선(RSI) 능력이 고도화되면 기술 발전이 인간의 통제 범위를 벗어날 수 있다는 우려가 커지고 있는 것과 맞물린다. 지난 7월 오픈AI의 에이전트들이 개발 플랫폼 허깅페이스를 해킹한 사건은 AI가 복잡한 과제를 자율적으로 수행하는 과정에서 부여된 권한과 시험 환경의 경계를 넘을 수 있음을 보여주며 통제 우려를 키웠다. 아모데이 CEO는 "RSI는 앤스로픽뿐 아니라 AI업계 전반에 나타나고 있고, 이를 방치하면 AI를 이해하고 통제하는 인간의 능력을 앞지를 수 있다"고 강조했다.

다만 속도조절 합의가 실제 구체적인 움직임으로 이어질지는 미지수다. 미국과 중국의 AI 주도권 경쟁이 이어지는 상황에서 미국 정부와 기업들이 자발적으로 개발 속도를 늦출 유인이 크지 않아서다. 최병호 고려대 휴먼인스파이어드 AI연구원 교수는 "중국 업체들의 기술력이 빠르게 따라오는 상황에서 미국 기업들이 개발 속도를 늦추면 역전될 수 있다는 우려가 있다"며 "미국 정부와 기업이 AI 개발을 가속할 수밖에 없는 만큼 속도조절론이 실질적인 개발 중단으로 이어지기는 어려울 것"이라고 전망했다.

김명주 AI 안전연구소장은 "프런티어(최상위) AI 대부분을 미국 기업이 개발하는 상황에서 안전성 시험과 인증 기준까지 주도한다면 향후 기술 패권과도 직결될 수 있다"며 "한국도 프런티어 AI 역량을 갖출 것을 대비해 국제적인 논의에 참여하고 선도기업들이 겪은 시행착오를 개발 과정에서 반영해야 한다"고 제언했다.

이은서 기자 libro@asiae.co.kr