엉뚱한 추천 ‘AI 알고리즘’ 맹점… UNIST, 추천시스템 위험성 진단 ‘EchoTrace’ 개발

이연창 교수팀, 엉뚱한 추천 굳어지는 ‘AI 알고리즘’ 맹점 진단

없는 상품 추천부터 편향 증폭까지… ACM CIKM 2026 채택

생성형 인공지능(LLM)을 적용한 상품 추천 서비스가 과거의 오류를 스스로 재학습하며 왜곡된 추천을 반복한다는 연구 결과가 나왔다.

없는 가게를 추천하거나 엉뚱한 직업을 지어내는 LLM 추천 시스템의 고질적 결함을 추적하는 진단 도구가 국내 연구진에 의해 개발됐다.

인공지능(AI)이 추천한 상품을 소비자가 믿고 선택하는 시대다. 하지만 정작 AI는 자신이 뱉은 오류를 그대로 다시 학습하며 엉뚱한 상품을 계속 권하고 있었다.

UNIST 인공지능대학원 이연창 교수 연구팀은 8일 대형언어모델(LLM) 기반 추천 AI의 편향과 오류를 추적하는 진단 도구 '에코트레이스(EchoTrace)'를 개발했다고 전했다.

연구진, 이연창 교수(좌측)와 박동욱 연구원. UNIST 제공

연구팀 분석 결과, AI가 직접 추천 목록을 짤 때 치명적인 결함이 드러났다. 목록에 아예 없는 엉뚱한 대상을 추천한 비율이 가게는 13.14%, 도서는 7.40%, 영화는 4.07%에 달했다.

이용자 프로필을 가짜로 만들어내는 '환각 현상'도 심각했다. AI가 영화 시청 이력만으로 추정한 사용자 직업은 93.16%가 실제와 맞지 않았다. 자료 기준에도 없는 직업군을 제멋대로 생성하기도 했다.

가장 큰 문제는 이 오류가 사라지지 않는다는 점이다. 추천 결과를 재학습시키는 과정을 5번 거쳤음에도 초기 편향은 그대로 유지되거나 특정 인기 항목으로 쏠렸다. 이용자 10명 중 9명꼴로 AI가 직전에 추천한 작품을 다음 추천의 핵심 근거로 삼았다. AI가 스스로 만들어낸 오류의 굴레에 갇히는 셈이다.

연구 성과는 데이터마이닝 분야 국제 학술대회인 'ACM CIKM 2026'에 채택됐다.

이연창 교수는 "이번 연구는 LLM 기반 추천 시스템의 편향과 환각이 반복적인 추천 과정에서 어떻게 누적되고 증폭되는지를 LLM의 역할에 따라 체계적으로 진단할 수 있는 기반을 마련했다"며 "향후 더욱 안전하고 신뢰할 수 있는 추천 시스템을 설계하고 평가하는 데 활용될 수 있을 것"이라고 말했다.

이번 연구에는 UNIST 인공지능대학원 박동욱 연구원이 제1저자로 참여했으며, 미국 펜실베이니아주립대학교 이동원 교수와 공동으로 연구를 수행했다.

연구 결과는 데이터마이닝 분야 최우수 국제학술대회 ACM CIKM(Conference on Information and Knowledge Management) 2026에 채택됐으며, 학회는 오는 지난 7일에 시작해 11일까지 이탈리아 로마에서 열린다.

연구그림, EchoTrace의 LLM 기반 추천시스템 위험 진단 과정.

연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 AI스타펠로우십, 인공지능대학원, 생성AI선도인재양성, 지역지능화혁신인재양성 사업, InnoCORE 프로그램과 미국 국립과학재단(NSF)의 지원을 받아 수행됐다.

영남취재본부 김수로 기자 relationship6007@asiae.co.kr