트럼프까지 가세한 전세계 'AI종말론' 논쟁…정말 사기극일까[시사쇼]

트럼프 "AI종말론은 사기극"
美·中 AI 패권 경쟁도 치열해져

■ 방송 : 아시아경제 '소종섭의 시사쇼'

■ 진행 : 소종섭 정치스페셜리스트

■ 연출 : 이미리 PD

■ 출연 : 이현우 기자

최근 최첨단 인공지능(AI)를 개발하는 기업과 연구자들 사이에서는 전혀 다른 논쟁이 벌어지고 있다. 지금과 같은 속도로 AI 성능을 높이고 더 많은 권한을 부여하다가는 언젠가 인간이 통제할 수 없는 단계에 이를 수 있다는 이른바 ‘AI 종말론’이다. 한때 공상과학 영화 소재로 취급된던 이야기에서 이제는 미 정치권까지 흔드는 논쟁으로 올라섰다. AI 개발이 정말 인류 생존의 현실적 위협으로까지 다가온걸까?

트럼프 "AI종말론은 사기…개발속도 억제하면 中만 좋아해"

로이터연합뉴스

도널드 트럼프 미국 대통령은 AI가 인류를 멸망시킬 수 있다는 주장과 AI 개발 속도를 늦춰야 한다는 요구를 최근 공개적으로 비판했다. 그는 AI가 세계를 장악하고 인류를 파괴할 수 있다는 주장은 사기라며, 미국이 개발 속도를 늦추면 중국만 이익을 얻게 될 것이라고 주장했다. AI 패권 경쟁에서 미국이 중국에 승리하지 못할 경우 더 큰 문제라는 것이다.

하지만 정작 AI 개발업체들 내부에서는 AI종말론이 심각하게 다가오고 있다. 연구실 안에서만 논의되던 AI 통제 실패가 실제 컴퓨터 시스템과 연결된 시험 과정에서 잇따라 관찰됐기 때문이다.가장 큰 충격을 준 사건은 지난 7월 발생했다. 오픈AI는 내부 사이버보안 성능평가 과정에서 시험 중이던 AI 모델들이 인터넷과 격리하기 위해 설치한 통제 장치를 우회하고 오픈AI 내부 연구 인프라와 외부 AI 플랫폼 허깅페이스(Hugging Face)의 시스템 일부에 접근했다고 밝혔다.

AI는 주어진 보안문제를 해결하는 과정에서 취약점을 발견하고 권한을 확대했으며, 결국 외부 인터넷에 접근한 뒤 허깅페이스 시스템까지 침투했다. 오픈AI는 조사 결과 모델들이 허가되지 않은 통신경로를 이용하고 취약점을 악용하면서 당초 평가 작업의 취지를 벗어난 행동을 했다고 설명했다.

며칠 뒤 앤스로픽에서도 비슷한 사실이 공개됐다. 앤스로픽이 약 14만1000건의 사이버보안 평가 기록을 재검토한 결과 Claude 모델이 시험환경 밖 인터넷에 접속해 실제 외부 조직 세 곳의 시스템에 무단 접근한 사례가 발견됐다. 영국 AI안보연구소(AISI)가 실시한 별도의 시험에서도 AI 에이전트들이 실존 인물과 조직을 대상으로 허가되지 않은 행동을 벌인 사례가 확인됐다. 가장 심각한 사례에서는 AI가 오픈소스 프로젝트에 악성 코드를 삽입하려 하고 이를 승인받기 위해 가짜 온라인 신원을 만드는 행동까지 시도했다. 사람인 관리자가 이상을 발견하면서 실제 피해로 이어지지는 않았다.

연구자들이 이러한 AI 일탈 사건에 주목하는 이유는 과거와는 다른 양상으로 나타난 현상이기 때문이다. 과거 AI는 사람이 질문을 입력하면 답변을 출력하는 수동적인 프로그램이었다. 최근에는 상황이 달라지고 있다. 목표 하나를 주면 AI가 스스로 계획을 세우고 인터넷을 검색하며 프로그램을 실행하고 다른 AI를 호출하는 일명 ‘AI 에이전트’ 형태로 발전하고 있다. 문제 해결 능력이 높아질수록 인간이 처음 지시하지 않은 중간 행동까지 스스로 선택할 수 있는 영역도 넓어진다.

실제 위험의 핵심은 AI가 갑자기 인간처럼 욕망이나 감정을 갖게 되는데 있지는 않다. 오히려 특정 목표를 달성하도록 설계된 프로그램이 예상하지 못했던 방법을 찾아내는 데 있다. “시험에서 높은 점수를 받아라”라는 목표를 받은 AI가 문제를 직접 푸는 대신 시험 정답이 저장된 서버에 접근하는 방법을 찾아낼 수도 있다는 것이다. 인간 입장에서는 ‘부정행위’지만 목표 달성만을 계산하는 시스템에는 더 빠른 해결책이 될 가능성이 있다. AI의 능력이 높아지고 컴퓨터와 인터넷, 결제수단, 로봇 등에 접근할 수 있는 권한까지 커질수록 이런 목표와 행동 사이의 간극이 중요한 안전 문제가 된다는 것이 AI 안전론자들의 주장이다.

국방분야 장악한 AI, 위험한 군사활동 벌일 가능성 우려

AP연합뉴스

이 때문에 특히 민감한 분야가 국방이다. 미국 정부는 이미 AI를 정보분석과 사이버방어, 무인체계, 지휘관 의사결정 지원 등에 적극적으로 활용하는 방향으로 움직이고 있다. 트럼프 행정부가 지난 6월 발표한 국가안보 분야 AI 지침도 첨단 AI를 군과 정보기관에 빠르게 도입하는 것을 주요 목표로 제시했다. 동시에 실제 배치되는 AI가 통제 가능해야 하고 기존 지휘체계와 책임 구조를 유지해야 한다는 조건도 명시했다.

핵무기에 AI가 적용되면 AI가 어느 날 마음대로 핵미사일 발사 버튼을 누를 수 있다는 식의 설명은 현재 상황과는 거리가 있다. 미국 전략사령부는 지난 8월 “무력 사용, 특히 핵무기와 관련된 중대한 결정에서 AI가 인간의 책임을 대체하지 않는다”고 명확히 밝혔다. 현재 논쟁은 AI에게 핵무기 발사권을 넘길지 여부보다는 AI가 군사정보 분석과 의사결정 과정에 깊이 들어갈 경우 잘못된 정보나 오판이 인간 지휘관의 판단에 어떤 영향을 줄 수 있느냐에 가깝다.

예를 들어 상대국의 미사일 발사를 탐지하거나 사이버 공격 여부를 판별하는 과정에 AI가 광범위하게 적용될 경우 판단 속도는 빨라진다. 반면 인간에게 주어지는 대응 시간은 오히려 짧아질 수 있다. AI가 잘못된 정보를 사실로 판단하거나 여러 시스템의 오류가 연쇄적으로 결합됐을 때 이를 인간이 얼마나 빠르게 찾아낼 수 있느냐도 새로운 문제가 된다. 결국 AI 안전론자들이 강조하는 것은 AI 자체가 핵무기를 소유한다는 이야기가 아니라 인간의 의사결정 체계가 AI에 지나치게 의존했을 때 발생할 수 있는 ‘통제 실패’를 사전에 연구해야 한다는 것이다.

AI종말론 거부하는 트럼프·젠슨황…美 최대 전략무기로 떠오른 AI

로이터연합뉴스

그렇다면 트럼프 대통령은 왜 AI 종말론과 개발 속도조절론에 강하게 반대하는 것일까. 가장 큰 배경은 미국과 중국의 기술경쟁이다. 트럼프 대통령은 최근 발언에서 AI 경쟁에서 미국이 중국보다 앞서 있으며 이 우위를 유지해야 한다는 점을 반복해서 강조하고 있다. AI 개발을 늦추자는 주장이 미국 기업들에만 적용될 경우 중국 기업들에 추격할 시간을 줄 수 있다는 논리다. 트럼프 행정부가 지난 6월 발표한 AI 관련 행정명령 역시 미국이 과도한 규제로 혁신을 억제하지 않겠다는 방향을 분명히 하고 있다.

실제로 현재 AI 산업에서 미국이 차지하는 비중은 압도적이다. 스탠퍼드대 인간중심AI연구소의 ‘2026 AI 인덱스’에 따르면 지난해 미국의 민간 AI 투자는 중국보다 23배 많았다. AI 개발에 필요한 컴퓨팅 인프라 역시 빠르게 확대되고 있다. 전 세계 AI 컴퓨팅 능력은 2022년 이후 연평균 3배 이상 늘었으며 엔비디아를 비롯한 미국 기업들이 핵심 하드웨어와 클라우드 인프라 시장의 상당 부분을 차지하고 있다.

미국이 첨단 AI 반도체와 반도체 제조장비에 대한 수출통제를 중국 압박 수단으로 활용해온 것도 사실이다. 그러나 중국이 AI 기술 대부분을 미국에 의존해 협상에서 일방적으로 끌려가고 있다고 단정하기는 어렵다. 미국의 수출통제로 중국 기업들이 최첨단 반도체 확보에 어려움을 겪은 것은 사실이지만 동시에 중국은 자체 AI 반도체와 제조장비 개발을 확대하고 있다. 최근에는 딥시크와 알리바바 등 중국 기업들의 AI 모델 성능도 빠르게 향상되고 있다는 평가가 나온다. 미국 전략국제문제연구소(CSIS) 역시 수출통제가 중국의 최첨단 기술 접근을 지연시키는 효과가 있지만 중국의 자체 기술 개발을 촉진하는 측면도 있다고 분석했다.

즉 미국의 AI 개발 속도를 유지해야 한다는 트럼프의 주장은 AI가 안전하다는 기술적 판단만으로 설명되기보다는 기술패권과 국가안보 문제까지 결합돼 있다. 실제 트럼프 행정부의 정책을 보면 AI 위험 자체를 완전히 무시하는 것도 아니다. 지난 6월 국가안보 분야 AI 도입을 확대하면서도 시스템이 ‘견고하고 통제 가능하며 책임소재가 명확해야 한다’는 원칙을 제시했다. AI의 존재론적 위험 때문에 산업 전체의 개발 속도를 늦추는 것에는 반대하지만 사이버보안과 군사 시스템 등 구체적인 위험에 대한 관리체계는 별도로 두겠다는 접근에 가깝다.

세계 최대 AI 반도체 기업 엔비디아의 젠슨 황 CEO도 비슷한 목소리를 내고 있다. 황 CEO는 최근 CBS와의 인터뷰에서 AI가 2030년까지 세계를 파괴할 가능성을 묻는 질문에 “0%”라고 답했다. 다만 이 발언은 AI가 미래 어느 시점에서도 절대 위험하지 않다는 의미의 확률 계산이라기보다 ‘수년 안에 AI가 인류를 멸망시킬 것’이라는 급박한 종말론을 반박하는 맥락에서 나온 것이다. 그는 AI 위험을 과도하게 부각해 사람들에게 공포를 심어주는 것은 책임 있는 태도가 아니라고 주장했다.

황 CEO를 비롯한 규제 신중론자들은 AI의 문제를 새로운 규제체계를 만들어 해결하기보다는 기존 사이버보안·제품책임 법규와 기술적 안전장치를 통해 관리할 수 있다고 본다. 현재 AI에는 여전히 상당한 한계도 존재한다. 챗봇이 인간과 자연스럽게 대화를 나누고 휴머노이드 로봇이 걷고 물건을 옮기는 모습이 공개되면서 범용 AI가 임박했다는 인상을 주지만 현실에서 인간처럼 다양한 상황을 스스로 파악하고 장기간 작업을 안정적으로 수행하는 범용 로봇은 아직 초기 단계다. 소프트웨어 AI 역시 복잡한 장기 작업에서는 오류를 반복하거나 인간의 감독을 필요로 하는 경우가 많다.

AI개발속도 늦추기 쉽지않아…논쟁 계속 이어질듯

결국 논쟁은 ‘AI가 위험한가, 안전한가’라는 단순한 양자택일과는 거리가 있다. AI를 어디까지 독립적으로 움직이게 할 것인지, 금융·군사·사이버보안 같은 중요 시스템에서 어느 수준까지 권한을 줄 것인지, 사고가 발생했을 때 책임을 개발기업과 이용자 중 누가 질 것인지가 실제 정책의 핵심으로 옮겨가고 있다. AI 기업의 내부 안전점검만으로 충분한지, 항공기나 의약품처럼 독립기관의 검증을 의무화해야 하는지도 논쟁거리다.

산업계가 AI 개발 속도를 실제로 크게 낮추기는 쉽지 않다. AI에 투입되는 돈의 규모가 이미 너무 커졌기 때문이다. 스탠퍼드 AI 인덱스에 따르면 2025년 전 세계 기업의 AI 투자는 전년보다 크게 증가했고 생성형 AI 투자도 두 배 이상 늘었다. 구글과 마이크로소프트, 아마존, 메타 등 대형 기술기업들은 데이터센터와 AI 반도체에 막대한 자금을 투입하고 있다. 각 기업이 경쟁사를 의식해야 하고 미국과 중국의 국가간 기술경쟁까지 맞물리면서 한 기업이나 한 국가만 독자적으로 속도를 늦추기 어려운 구조다.

한국에서도 이 논쟁은 남의 일이 아니다. AI 투자가 확대될수록 고대역폭메모리(HBM)를 비롯한 첨단 메모리와 반도체 장비, 전력 인프라 수요가 함께 늘어난다. 반대로 미국을 비롯한 주요국이 AI 투자 속도를 늦추는 규제를 도입하면 반도체와 데이터센터 투자에도 영향을 줄 수 있다. AI 규제 논쟁에 글로벌 반도체 업계와 금융시장이 민감하게 반응하는 이유다.

트럼프 대통령이 AI 종말론을 ‘사기’라고 일축하고 젠슨 황 CEO가 가까운 미래의 인류 멸망 가능성을 0%라고 주장했다고 해서 논쟁이 끝난 것은 아니다. 반대로 몇 차례의 통제 실패 실험이 확인됐다고 해서 AI가 인류를 위협할 것이라고 단정할 수도 없다. 결국 세계가 풀어야 할 문제는 AI 개발을 할 것인지 말 것인지가 아니라, 갈수록 강력해지는 AI에 얼마나 많은 권한을 주면서도 인간이 최종적인 통제권을 놓치지 않을 것인지에 가까워지고 있다.

이현우 기자 knos84@asiae.co.kr