AI 생성 이미지

VISUAL NEWS

AI가 AI를 키운다?!

더 나은 AI를 만들고
그 AI가 다시 다음 AI를 만든다면

"AI가 스스로 발전한다면..."전문가 22명의 경고

세계 유수 AI 석학 22명은 AI가 인간의 개입 없이 스스로 성능을 개선하는 과정이 반복되면
기술 발전 속도가 급격히 빨라지는 ‘지능폭발’이 일어날 수 있다고 경고했습니다.

0AI 연구진

제프리 힌턴토론토대 명예교수

요슈아 벤지오몬트리올대 교수

야쿠프 파호츠키오픈AI 수석과학자

잭 클라크앤스로픽 공동창업자

에릭 호비츠마이크로소프트 최고과학책임자

던 송메타 AI 연구 담당 부사장

AI가 더 나은 AI를 만들고 그 AI가 다시 연구한다

AI가 연구개발에 참여해 새로운 AI 모델을 만들고
만들어진 AI가 다시 연구개발에 투입됩니다.

STEP 01AI가 연구개발에
참여

STEP 02더 나은 AI
모델 개발

STEP 03다시 연구개발에
투입

다시 반복

AI가 인간의 개입 없이 자신의 성능을 개선하는 과정.
이를 ‘재귀적 자기 개선’이라고 합니다.

이 과정이 반복되면 AI 발전 속도는 더 빨라질 수 있다

지능폭발이 발생하면 수년이 걸릴 기술 진보가
수개월 또는 그 이하의 기간으로 압축될 수 있다고 전망했습니다.

그런데 연구 현장에서는 이미 AI가 AI 개발을 돕고 있다

주요 AI 기업에서는 연구개발 자동화가 빠르게 진행되고 있습니다.

26%전체 R&D 작업

클로드

앤스로픽은 클로드가 전체 연구개발 작업의 26%를 주도한다고 밝혔습니다.

90%+R&D 과정 AI 활용

앤스로픽

연구개발 과정에서 AI를 활용하는 비중은 90%를 넘어섰습니다.

약 70%오픈AI 인간 연구원

AI 에이전트 활용

인간 연구원의 약 70%가 업무 지원을 위해 AI 에이전트를 4개 이상 활용하고 있습니다.

NEXT GOAL2028

OPENAI완전 자동화된
AI 연구자 개발

오픈AI는 2028년까지 완전 자동화된 AI 연구자를 개발한다는 목표를 세웠습니다.

AI 생성 이미지

자동화가 늘어날수록 인간이 놓치는 문제가 생길 수 있다

연구개발 단계에서 인간의 개입이 줄어들수록
문제를 발견할 기회를 잃을 수 있다는 우려도 나왔습니다.

격리된 환경에서 보안 테스트

AI 에이전트 수백개가 보안 테스트를 수행하도록 설계됐습니다.

허가 없이 외부 인터넷에 접속

AI 에이전트들은 외부 인터넷에 접속해 AI 개발 플랫폼 허깅페이스를 해킹했습니다.

분석 과정에도 AI가 필요했다

작업 규모가 워낙 방대해 사건을 검토한 외부 연구진조차
분석 과정에서 AI의 도움을 받아야 했습니다.

결국 일부 훈련 중단

오픈AI는 지난 8월 안전 및 감시 조치를 강화하기 위해 일부 훈련을 중단했습니다.

AI 생성 이미지

위험은 AI 하나에서 끝나지 않을 수 있다

연구진은 지능폭발의 영향이 개별 기업을 넘어 사회 전반으로 확산할 수 있다고 경고했습니다.

지능
폭발

RISK 01통제력 상실

인류가 초인공지능에 대한 통제력을 상실할 수 있다고 우려했습니다.

RISK 02권력 견제 약화

국가와 기업, 정부 부처 내부 및 상호 간 권력 견제 체계가 약화할 수 있다고 봤습니다.

RISK 03공격·방어 격차

생물학적·사이버 공격 기술의 발전을 방어 기술이 따라가지 못할 가능성도 제기했습니다.

AI 생성 이미지

그래서 필요한 건 지능폭발에 대비할 안전장치

연구진은 AI 연구개발 자동화 현황을 투명하게 공개하고
지능폭발에 대비할 장치를 마련해야 한다고 주장했습니다.

지능폭발
대비

01독립적인 감사인 배치

기업에 독립적인 감사인을 배치할 것을 주문했습니다.

02성능 향상 제한·프로젝트 중단

일정 기간 AI의 성능 향상 속도를 제한하거나 특정 AI 연구개발 프로젝트를 중단할 장치를 제시했습니다.

03비상 대응계획 수립

지능폭발에 대비한 비상 대응계획 수립을 주문했습니다.

04국가 간 협약 체결

AI 개발이 국제 정세를 불안하게 만들지 않도록 국가 간 협약을 체결할 것을 주문했습니다.

AI가 스스로 진화하는 속도 인간은 따라잡을 수 있을까

AI가 더 빠르게 발전할수록 인간의 개입과 통제는 더 중요해집니다.

취재
전진영 기자 jintonic@asiae.co.kr

국제부 전진영입니다. 일본을 중심으로 국제 이슈를 전합니다.
취재
허은미 기자 eungmimon@asiae.co.kr

이 기사 어땠나요?

"AI 지능 폭발 임박…통제 못하면 인류 멸망" 섬뜩 경고 나왔다

"AI 지능 폭발 임박…통제 못하면 인류 멸망" 섬뜩 경고 나왔다

공유하기

글자크기 설정

AI가 AI를 키운다?!

"AI가 스스로 발전한다면..."전문가 22명의 경고

AI가 더 나은 AI를 만들고 그 AI가 다시 연구한다

이 과정이 반복되면 AI 발전 속도는 더 빨라질 수 있다

그런데 연구 현장에서는 이미 AI가 AI 개발을 돕고 있다

자동화가 늘어날수록 인간이 놓치는 문제가 생길 수 있다

위험은 AI 하나에서 끝나지 않을 수 있다

그래서 필요한 건 지능폭발에 대비할 안전장치

AI가 스스로 진화하는 속도 인간은 따라잡을 수 있을까

추천 콘텐츠

오늘의 주요뉴스