사연 지어냈더니 다 뚫렸다…"생물무기 만드는 법, 싹 알려줘" 소름 돋는 AI '안전 구멍'

WSJ "일부 답변 치명적일 만큼 정확"
오픈AI, 계정 정지했지만 신고 안 해
"테러 조직엔 대학원 지도교수 역할"

인공지능(AI) 챗봇이 생물학 무기 제조와 살포에 관한 질문에 상세한 답변을 내놓고 있다는 지적이 나왔다.

AI 챗봇 챗GPT가 생물학 무기 관련 답변을 상세하게 해 논란이 되고 있다. AP연합뉴스

25일(현지시간) 연합뉴스는 월스트리트저널(WSJ)을 인용해 "생물학·테러 분야 전문가들이 챗GPT의 대화 기록을 검토한 결과 일부 답변이 치명적일 만큼 정확했으며, 고등학교 생물학 수준의 지식만으로도 따라 할 수 있을 정도로 간단했다"고 보도했다.

이용자들은 병원체를 퍼뜨리는 방법이나 백신에 듣지 않는 변종을 만드는 방법, 국제협약으로 금지된 독극물 제조법 등을 물었고 챗GPT는 여기에 답했다. 이런 질의를 한 이용자는 수백 명에 이르며, 오픈AI가 지난해 챗GPT를 업그레이드한 이후 사례가 늘어난 것으로 전해졌다. 다만 실제 무기 제작을 시도한 것인지, 시스템의 한계를 시험한 것인지는 확인되지 않았다.

오픈AI는 해당 계정들을 정지시켰으나, 관련 법률이 미비해 미국 수사 당국에는 신고하지 않은 것으로 알려졌다. WSJ은 "법적 공백 탓에 대량 살상 방법을 묻는 질의에 AI가 신뢰할 만한 답변을 내놓는 사례가 늘고 있다"고 짚었다.

오픈AI는 챗GPT 출시 초기만 해도 자사 모델이 생물학이나 화학 분야에서 특별히 뛰어나지 않다고 판단해 위험한 이용자와의 상호작용을 크게 우려하지 않았다고 한다. 답변하지 않을 항목을 정한 '거절 규칙'도 마련해 뒀다. 문제는 이 규칙이 대화가 길어지면 흔들린다는 점이었다. 가령 무기 제조법을 곧바로 물으면 거절하지만, 가족과 얽힌 사연을 지어내 부탁하는 식으로 요청하면 답변이 나오기도 했다.

이에 오픈AI 대변인은 "안전장치가 훨씬 강력해졌다"며 "사람에게 위해를 가할 수 있는 지침이나 전술, 계획에 대한 요청을 거부하도록 모델을 학습시키고 있으며 출시 전 모든 모델에 안전성 평가를 실시한다"고 밝혔다. 오픈AI는 앞서 지난해 7월 자사 에이전트 기능을 내놓으면서 생물학적 오용 위험을 '높음' 등급으로 분류하고 추가 안전장치를 적용했다고 밝힌 바 있다.

앤트로픽의 생성형 AI 챗봇 서비스 클로드. 로이터연합뉴스

그러나 에이미 창 시스코 AI 위협·안보 연구 책임자는 주요 AI 챗봇과 대화하는 과정에서 안전장치를 우회하는 방법을 찾아냈다며 "이용자가 매우 끈질기다면 100% 안전한 모델은 없다"고 지적했다.

WSJ은 "선도적인 AI 연구소들은 연구 목적의 정당한 질의를 막지 않으면서 악의적 이용을 차단할 방법을 두고 고심하고 있다"고 전했다. 생물학 무기 관련 답변을 봉쇄하면 인명을 구하는 연구까지 지장을 받기 때문이다. 실제로 클로드가 '병원체(pathogen)'라는 단어가 들어간 프롬프트에 답변하지 않도록 하자 미 질병통제예방센터(CDC) 직원들이 업무에 어려움을 겪은 것으로 알려졌다. 오픈AI는 검증된 연구기관에 거절 규칙이 덜 적용되는 모델 접근 권한을 주는 프로그램을 만들어 이를 보완했다.

AI 챗봇이 총기 공격 계획을 돕는다는 우려는 이전부터 제기됐으나, 생물학 무기는 피해 범위가 훨씬 넓다는 점에서 사안의 무게가 다르다. WSJ은 "이런 질의가 챗GPT, 클로드, 제미나이 등 주요 AI 챗봇 서비스 대부분에 있다"고 지적했다. 함자 초드리 미래생명연구소 연구원은 "테러 조직에 AI는 생물학 무기에 관한 대학원 지도교수 역할을 할 수 있다"고 우려했다.

김성욱 기자 abc123@asiae.co.kr