"AI의 아첨, 합리적인 존재도 망상 빠지게 한다"

AI 위험성 알수록 사실 기반 아첨에 빠져

인공지능(AI)과의 장시간 대화가 이성적인 판단을 할 수 있는 존재에도 영향을 미쳐 망상에 빠뜨린다는 연구 결과가 나왔다.

EPA연합뉴스

미국 매사추세츠공과대학교 컴퓨터과학·AI 연구소(MIT CSAIL)는 최근 '챗봇의 아첨, 합리적인 지능도 망상적 나선 현상 유발'(Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians)이란 제목의 논문을 통해 이와 같은 연구결과를 발표했다. 연구진은 합리적인 존재마저 AI와 장시간 대화를 하면 잘못된 신념에 확신을 가지는지 검증했다.

연구진은 먼저 프로그래밍을 통해 피실험자가 될 합리적인 판단을 내릴 수 있는 시뮬레이션을 설계했다. 해당 시뮬레이션은 AI와 대화하면서 자신이 내세운 가설에 대한 믿음 관련 수치를 수정했다. 대화형 AI의 경우 '아첨의 정도'를 0(전혀 없음)부터 1(항상 아첨)까지 조정하거나 '사실 또는 거짓말' 등 요소를 바꿔가면서 실험을 진행했다.

실험 결과, 합리적으로 판단하는 피실험자는 아첨의 정도가 1에 가까워질수록 잘못된 가설에 대한 확신이 뚜렷했다. 연구진은 해당 현상에 대해 "피해망상이 더 심화돼 자신과 주변을 파괴하는 '파괴적 망상 나선'에 부합한다"고 설명했다. 뿐만 아니라 AI가 거짓말을 하지 않게 설정해도 피실험자는 망상에 빠졌다. 사용자의 비위에 맞는 정보만 골라서 전달하다 보니 피실험자의 망상 발생률은 줄었지만 완전히 없애진 못했다.

피실험자가 AI의 아첨 성향을 미리 인지해도 정신적인 문제를 일으킬 수 있다는 점도 발견됐다. 연구진은 해당 시뮬레이션에 AI의 아첨 확률을 추론하는 방식으로 AI가 아첨할 수 있다는 정보를 알려줬다. 피실험자의 망상 발생률은 낮아졌지만 아부의 빈도를 교묘한 수준으로 설정하자, 다시 잘못된 신념에 확신을 가지기도 했다. 특히 정보를 갖춘 피실험자는 오히려 사실을 기반으로 아첨하는 AI에 더 취약한 모습을 나타냈다. 연구진은 "사실을 기반한 아첨은 사용자의 논리적 방어막을 뚫고 망상을 심는 데 더 효과적"이라고 설명했다.

AI가 인간의 정신건강을 해친다는 내용의 연구 결과는 계속 나오고 있다. 스탠퍼드대 컴퓨터과학과 연구진은 국제 학술지 사이언스지를 통해 AI의 옹호하는 태도가 인간의 AI 의존도를 높인다는 내용의 연구를 발표했다. 인간의 잘못된 행동에도 AI가 무조건 옹호하는 경우가 전체 실험 사례 가운데 51%에 달했다. 아울러 실험 참가자들은 이러한 AI의 답변을 더욱 선호하는 것으로 나타났다. 영국 킹스칼리지런던 연구원을 포함한 국제 공동 연구팀 역시 AI의 과잉 동조가 정신질환 환자의 증상을 악화시킬 수 있다는 사실을 입증했다.

AI 때문에 정신건강이 나빠져 결국 목숨을 잃는 사례가 빈번해지자 이에 대한 경각심도 높아지고 있다. 미국 플로리다주의 14세 소년 슈얼 세처는 2024년 AI 스타트업 '캐릭터. AI'(Character.AI) 챗봇과 대화를 나누다가 목숨을 잃었다. 세처의 어머니는 챗봇 기업을 대상으로 소송을 제기했다. 생성형 AI 모델 챗GPT를 개발한 오픈AI는 AI와 성적 대화를 나눌 수 있는 기능을 출시하려고 했지만 "정서적 의존도를 지나치게 높일 수 있다"는 지적에 무기한 보류했다.

공병선 기자 mydillon@asiae.co.kr