KAIST "시간 오류 자동 진단…LLM 취약성 개선"

시시각각 달라지는 현실 정보를 자동으로 반영해 거대언어모델(LLM)의 '시간 오류'를 찾는 평가기술이 국내에서 개발됐다. 챗GPT에 "지난달 취임한 장관은 누구인가"라고 물었을 때 현재 장관이 아닌 1년 전 인물을 답으로 내놓는 시간 오류를 바로잡는 기능이다. 이는 인공지능(AI)의 신뢰성을 높여 '믿고 쓰는' AI 시대를 앞당기는 데 기여할 것으로 기대된다.

AI 생성 이미지. KAIST

KAIST는 전기 및 전자공학부 황의종 교수 연구팀과 마이크로소프트연구소(Microsoft Research)가 시간 데이터베이스 기술로 LLM의 시간 추론 능력을 자동으로 평가·진단하는 시스템을 개발했다고 14일 밝혔다.

AI가 사용자의 신뢰를 얻기 위해선 변화하는 현실 정보를 정확히 이해해 제공하는 능력이 필수다. 하지만 기존 평가 방식은 정답 일치 여부만을 확인하거나 복잡한 시간 관계를 충분히 반영하지 못해 실제 환경에서 발생하는 질문 상황을 제대로 평가하기 어려운 한계를 보였다.

공동연구팀은 이를 해결하기 위해 '시간 데이터베이스(Temporal Database)' 설계 이론을 AI 평가에 최초로 도입했다.

시간 데이터베이스는 지난 40여년간 검증돼 온 산물이다. 이를 이용해 공동연구팀은 데이터의 시간적 흐름과 관계 구조로 사람이 평가용 문제를 직접 작성하지 않고도, 데이터베이스만으로 13가지 유형의 복잡한 시간 기반 문제가 자동 생성될 수 있게 했다.

자동 평가·진단 시스템은 데이터를 기반으로 평가 문제가 자동 생성되는 방식으로 전환했다는 점에서 혁신적이라는 평가를 받는다. 사람이 직접 문제를 만들어야 했던 기존의 틀을 깼다는 의미에서다.

또 데이터베이스를 기준으로 문제 생성은 물론 정답 도출과 검증 등 전체 과정을 자동화해 기존처럼 문제를 일일이 수정하지 않아도 되는 점은 유지보수 부담을 줄이는 요인이 된다.

무엇보다 현실 정보가 변경될 때 해당 내용을 데이터베이스에 업데이트하면 평가 문제와 정답, 검증 기준이 자동으로 반영되는 점이 강점이다.

단 최신 정보의 입력 자체는 외부 데이터나 관리자를 통해 이뤄진다. 자동 평가·진단 시스템은 데이터가 갱신된 이후 평가 전반을 자동으로 수행하는 구조로 운용된다.

(왼쪽부터) KAIST 김소연 박사과정, Microsoft 소속 Jindong Wang 연구원(현 윌리엄 앤 메리 대학교 소속), Microsoft 소속 Xing Xie 연구원, KAIST 황의종 교수. KAIST

공동연구팀은 단순히 최종 답이 '맞는지 틀리는지' 여부를 판단하는 기존 방식에서 벗어나 답변 과정에서 제시된 날짜, 기간의 논리적 타당성까지 검증하는 지표도 새롭게 도입했다.

이를 통해 겉보기에는 정답처럼 보이지만 시간적 근거가 잘못된 '시간 환각(Temporal Hallucination)' 현상을 기존보다 평균 21.7% 더 정확하게 탐지하는 성과를 거뒀다.

자동 평가·진단 시스템을 적용하면 정보가 변경됐을 때 데이터베이스만 갱신하면 돼 평가 유지비용을 절감하는 것과 동시에 입력 데이터양도 기존보다 평균 51% 줄어드는 효과를 갖게 된다고 공동연구팀은 강조했다.

황 교수는 "이번 연구는 고전적 데이터베이스 설계 이론이 최신 AI의 신뢰성 문제를 해결하는 데 중요한 역할을 할 수 있다는 것을 보여준 사례"라며 "방대한 전문 데이터를 평가 자원으로 활용한다면, 향후에는 의료·법률 등 다양한 분야에서도 자동 평가·진단 시스템이 AI 성능을 검증하는 데 이용될 수 있을 것으로 기대한다"고 말했다.

한편 이번 연구에는 KAIST 김소연 박사과정이 제1 저자로 참여하고, 마이크로소프트연구소의 진동 왕(Jindong Wang·현 윌리엄 앤 메리 대학교)과 싱 시에(Xing Xie) 연구원이 공동 저자로 참여했다. 연구 결과는 이달 AI 분야 학술대회 'ICLR 2026'에서 발표될 예정이다.

대전=정일웅 기자 jiw3061@asiae.co.kr