人工智能安全研究成果获国际认可
首尔市立大学研究团队在国际学术会议上发表了有关防止生成式人工智能（AI）信息泄露及安全防护机制脆弱性的研究成果。
首尔市立大学12日表示，人工智能系教授 Hwang Wonseok 研究团队的两篇论文分别入选自然语言处理领域国际学术会议“EMNLP 2026”的主会场和 Findings 赛道。EMNLP 2026于上月24日至29日在匈牙利布达佩斯举行。今年共收到1.7669万篇论文，其中主会场录用2719篇，Findings赛道录用2533篇。
（从左至右）博士硕士连读项目学生Kang Juheon、KT AX未来技术研究院高级研究员Kim Yeeun（首尔市立大学硕士毕业）、博士硕士连读项目学生Choi Eunkyung、教授Hwang Wonseok。首尔市立大学供图
View original image入选主会场的“Q-CAT”研究探讨了一项技术，旨在防止企业使用大型语言模型时泄露合同条款、薪酬信息等敏感信息。
研究团队开发了一套系统，无需在安全规则每次变更时重新训练人工智能模型，而是将禁止和允许的问题纳入数据库管理，并实时判断用户请求。
实验结果显示，该系统的准确率高于现有的大型语言模型分类方法；与性能相近的推理模型相比，其处理速度最高快数百倍。
入选Findings赛道的研究分析了人工智能拒绝有害请求时采用的语言模式。研究团队调查了11种公开人工智能模型，发现拒绝答复中平均有88%以英语单词“I”开头。基于这一发现，团队提出了名为“ACHILLES”的攻击方法，通过训练模型避开特定答复模式，绕过人工智能安全防护机制。在部分实验中，即使是安全性得到强化的推理模型，攻击成功率也超过了90%。
作为应对措施，研究团队构建了安全训练数据集“THETIS”。实验显示，应用该数据集的模型面对这一攻击及其他多种绕过攻击时，攻击成功率降至接近0%。
Hwang 教授表示：“这项研究从多个角度分析了在实际应用环境中安全、可靠地使用生成式人工智能必须解决的现实安全问题和结构性弱点。今后，我们也将继续开展研究，在人工智能安全性与对齐技术领域提出切实有效的解决方案。”
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
