通过实验已经证明，包括Chat GPT在内的大型语言模型（以下称LLM）被用于滥用个人信息的可能性是真实存在的。回顾谷歌（Google）近期撤回此前“不将人工智能技术用于武器或监视”的承诺，引发了关于人工智能被恶意利用的争议，这意味着LLM代理被用于个人信息收集及钓鱼攻击等行为的可能性具有现实基础。
（上排自左起）KAIST 电气与电子工程系 Na Seungho 博士、KAIST Kim Jaechul 人工智能研究生院 Lee Kimin 教授，（下排自左起）KAIST 电气与电子工程系 Kim Hanna 博士研究生、KAIST 电气与电子工程系 Shin Seungwon 教授、KAIST 电气与电子工程系 Song Mingyu 博士研究生。KAIST 提供
View original image韩国科学技术院（KAIST）24日表示，电气及电子工程系Shin Seungwon教授、金在哲人工智能研究生院Lee Gimin教授联合研究团队，通过实验方式揭示了利用LLM实施网络攻击的可能性。
目前，OpenAI、Google AI等商用LLM服务都内置了防御技术，以阻止LLM被用于网络攻击。
然而联合研究团队的实验结果显示，即便存在这些防御技术，攻击者仍然可以通过迂回方式实施恶意网络攻击。
研究团队指出，尤其是与以往攻击者必须投入大量时间和精力进行网络攻击的情况不同，LLM代理仅需平均5～20秒、花费约30～60韩元（2～4美分）的成本，就能够窃取个人信息等，实施恶意网络攻击，因此LLM服务可能成为网络环境中的新威胁因素。
在实际研究结果中，LLM代理对目标对象个人信息的收集准确率最高可达95.9%；在冒充知名教授撰写虚假帖文的实验中，最多有93.9%的帖文被他人视为真实内容。
实验还证明，仅利用受害者的电子邮箱地址，就可以生成针对受害者高度定制的精细钓鱼邮件。在这种情况下，实验参与者点击钓鱼邮件链接的概率最高升至46.67%，由此确认基于人工智能的自动化攻击具有极高的严重性。
第一作者研究员Kim Hanna表示：“实验结果表明，赋予LLM的能力越多，网络攻击的威胁就呈指数级增长。要在考虑LLM代理能力的前提下降低网络攻击风险，当务之急是构建可扩展的安全装置。”
Shin Seungwon教授表示：“本次研究将作为改进信息安全及人工智能（AI）政策的重要基础资料加以利用。研究团队计划与LLM服务提供商和研究机构合作，讨论安全对策。”
另一方面，本研究在信息通信企划评价院、科学技术信息通信部及光州广域市的支持下开展。
由KAIST电气及电子工程系博士课程学生Kim Hanna作为第一作者参与的本研究，将发表在计算机安全领域顶级学术会议之一——国际学术会议“USENIX Security Symposium 2025”上。
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
