离谱推荐暴露“人工智能算法”盲点……蔚山科学技术院开发推荐系统风险诊断工具EchoTrace

一项研究发现，应用大型语言模型的商品推荐服务会自行重新学习过去的错误，并反复给出失真的推荐。

国内研究团队开发出一种诊断工具，可追踪大型语言模型推荐系统的顽固缺陷，例如推荐不存在的店铺，或凭空捏造离谱的职业。

如今，消费者越来越相信人工智能推荐并据此选择商品。然而，人工智能却会原样重新学习自己生成的错误，持续推荐不合适的商品。

蔚山科学技术院人工智能研究生院Lee Yeonchang教授团队8日表示，已开发出诊断工具“EchoTrace”，用于追踪基于大型语言模型的推荐人工智能所存在的偏见与错误。

研究团队成员Lee Yeonchang教授（左）和Park Donguk研究员。UNIST供图

View original image

研究团队分析发现，人工智能直接生成推荐清单时会暴露出致命缺陷。推荐清单中完全不存在的对象被错误推荐的比例，店铺为13.14%、图书为7.40%、电影为4.07%。

人工智能还会编造用户档案，出现严重的“幻觉现象”。人工智能仅凭电影观看记录推测出的用户职业，有93.16%与实际情况不符。它有时还会擅自生成资料基准中根本不存在的职业类别。

最大的问题在于，这些错误不会消失。即使对推荐结果进行5轮再训练，最初的偏见依然存在，或逐渐集中于某些热门项目。每10名用户中约有9人，人工智能都会把刚刚推荐过的作品作为下一轮推荐的核心依据。这相当于人工智能陷入自身制造的错误循环。

这项研究成果已被数据挖掘领域国际学术会议“美国计算机协会（Association for Computing Machinery）信息与知识管理国际会议（Conference on Information and Knowledge Management）”2026年会议接收。

Lee Yeonchang教授表示：“本研究为系统诊断基于大型语言模型的推荐系统中的偏见和幻觉如何在反复推荐过程中不断累积、放大，奠定了基础，并按照大型语言模型所发挥的作用进行分析。”他还称：“研究成果今后可用于设计和评估更加安全、可靠的推荐系统。”

蔚山科学技术院人工智能研究生院研究员Park Donguk担任本研究第一作者，研究由其与美国宾夕法尼亚州立大学Lee Dongwon教授共同开展。

必读新闻

“两个人去一趟50万韩元转眼就花光，光排队就要2小时？”……孩子不来、外国游客也冷落的“梦幻之国”

• “干满30年领2亿韩元”的时代结束了……日本银行只打卡上班的“万年部长”发出哀叹
• 西班牙遭遇最惨重悲剧……列车惨案发生后，Lee Kangin、Roberto Moreno、皇家马德里等足坛人士纷纷悼念
• 曾称可作“终身之家”，却突然赶走200名乘客……环球邮轮发生了什么？
• “一天130份盖饭售罄”……凭“未经修图的脸”让夜市营业额增加800万韩元，“大陆版Bungeunwoo”

研究成果已被数据挖掘领域顶级国际学术会议“美国计算机协会信息与知识管理国际会议”2026年会议接收。会议于7日在意大利罗马开幕，将持续至11日。

研究示意图：EchoTrace基于大型语言模型的推荐系统风险诊断流程。

View original image

本研究获得韩国科学技术信息通信部、信息通信技术企划评价院的人工智能明星研究员计划、人工智能研究生院项目、生成式人工智能领军人才培养项目、地区智能化创新人才培养项目、InnoCORE计划以及美国国家科学基金会的支持。

版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。