一项能够自动反映瞬息万变的现实信息,从而发现大规模语言模型(LLM)“时间错误”的评估技术已在韩国本土开发完成。当用户在ChatGPT上询问“上个月就任的部长是谁?”时,该技术可以纠正模型把1年前的前任部长当作现任部长作答的时间错误。预计这一技术将有助于提升人工智能(AI)的可信度,加速“放心使用”的AI时代到来。
KAIST表示,电气及电子工程系教授 Hwang Uijong 研究团队与微软研究院(Microsoft Research)合作,基于时间数据库技术,开发出一套能够自动评估和诊断LLM时间推理能力的系统。相关消息于14日公布。
为了让AI获得用户信任,准确理解并提供不断变化的现实信息是必不可少的能力。然而,现有评估方式仅检查答案是否一致,或无法充分反映复杂的时间关系,因而难以有效评估真实环境中出现的各种提问情境,存在明显局限。
为解决这一问题,联合研究团队首次将“时间数据库(Temporal Database)”设计理论引入AI评估领域。
时间数据库是过去40余年来不断被验证的一项成果。借助这一技术,联合研究团队仅凭数据库中数据的时间演化与关系结构,就能够在无需人工编写评估题目的情况下,自动生成13种类型的复杂时间类问题。
自动评估与诊断系统基于数据自动生成评估题目的方式,被评价为具有创新性。这意味着打破了以往必须由人工逐题出题的固有模式。
此外,以数据库为基准,不仅实现了题目生成的自动化,还将答案推导与验证等全过程一并自动化,无需像以往那样逐一修改题目,从而大幅减轻维护负担。
最重要的是,当现实信息发生变更时,只需在数据库中更新相关内容,评估题目、标准答案以及验证标准就会自动随之调整,这是该系统的一大优势。
不过,最新信息的录入本身仍需通过外部数据源或管理人员来完成。自动评估与诊断系统在数据更新之后,会以自动化结构执行整个评估流程。
(从左起)KAIST博士课程在读的 Kim Soyeon,Microsoft 研究员 Jindong Wang(现任职于威廉与玛丽大学),Microsoft 研究员 Xing Xie,KAIST 教授 Hwang Uijong。KAIST 提供
View original image联合研究团队还突破了仅判断最终答案“对或错”的传统方式,新增了验证回答过程中所给出的日期、时间区间在逻辑上是否成立的评估指标。
借此,团队实现了对表面看似正确、但时间依据错误的“时间幻觉(Temporal Hallucination)”现象的识别,其平均检测准确度较以往提升了21.7%。
联合研究团队强调,引入自动评估与诊断系统后,当信息发生变化时,只需更新数据库即可,从而在降低评估维护成本的同时,使所需输入数据量较以往平均减少51%。
Hwang 教授表示:“本次研究表明,经典的数据库设计理论在解决最新AI的可信度问题上同样能够发挥重要作用。如果将海量专业数据作为评估资源加以利用,今后在医疗、法律等各个领域,自动评估与诊断系统都有望被用于验证AI性能。”
此次研究由KAIST博士课程学生 Kim Soyeon 作为第一作者参与,微软研究院研究员 Jindong Wang(现隶属威廉与玛丽大学)与研究员 Xing Xie 作为共同作者参与。研究成果将于本月在AI领域学术会议“ICLR 2026”上发表。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。