"AI, 개발진도 속일 수 있다" 오픈AI 출신의 섬뜩한 경고

前 안전담당 "원전처럼 다뤄야" 지적

인공지능(AI) 발전과 동시에 기술이 인류를 멸망시킬 수 있다는 우려가 제기되는 가운데 챗GPT를 만든 오픈AI에서 근무했던 직원이 '안전 확보'를 위한 노력이 부족하다고 지적했다.

데이비드 로빈슨 전 오픈AI 안전담당은 3일(현지시간) 디애틀랜틱에 낸 기고문에서 "AI를 구축하는 기업들이 충분히 신중하지 않다는 최근 다른 퇴사자들 의견에 동의한다"고 밝혔다. 로빈슨은 "오픈AI는 문제를 찾으면 안전장치를 개선하는 시행착오 방식으로 성장해왔다"며 "이 방식은 주기적인 실패를 상정하며 시스템이 강력해질수록 실패의 크기도 커지고 있다"고 비판했다.

그는 AI 업계 전반의 안전장치가 허술하다고 지적했다. 특히 오픈AI의 경우 일단 성능을 높이 AI 모델을 배포한 뒤 문제가 생기면 고치는 방식으로 기술을 개발해온 점이 문제라고 봤다.

문제는 AI 기술의 성능이 이전과 비교하기 어려울 정도로 빠르게 발전하고 있다는 점이다. 로빈슨은 AI 모델의 테스트 감지 능력이 향상되기 시작했고 시험 단계와 배포 시 다르게 행동하는 형태로 개발진을 속일 가능성까지 충분하다고 봤다. 업계 전반에 '문제가 생기면 언제든 해결할 수 있다'는 낙관주의가 깔렸으며 개발 속도에 집중하느라 안전을 외면하고 있다고 했다.

로빈슨은 원자력 발전소처럼 민감한 안전장치가 필요하다고 주장했다. 그는 "이러한 환경은 우리보다 더 똑똑해질 수 있고 원하는대로 작동하지 않을 수 있는 AI를 키워낼 장소가 아니다"라며 "AI 기업들은 여러 겹의 예비 장치와 신중한 계획을 갖춘 원전처럼 운영돼야 한다"고 했다.

로빈슨은 오픈AI 최장기 근속자 중 하나로 안전 보고서 작성을 총괄해오다 최근 사직했다.

오픈AI 측은 로빈슨의 주장과 관련해 충분한 안전장치를 마련하고 있다고 해명했다. 오픈AI 관계자는 "모델 성능이 우리가 안전하게 통제할 수 있는 범위를 넘어서지 않도록 보장하고 있다"며 "속도를 줄여야 할 때 훈련을 중단하거나 모델 출시를 보류하고 있다"고 설명했다.

장희준 기자 junh@asiae.co.kr