近期向生成式人工智能(AI)聊天机器人咨询疾病的案例不断增加,但结果显示,大多数已商用的AI模型在面对恶意攻击时几乎毫无防备,极有可能给出错误治疗建议,风险极高。


据首尔峨山医院5日消息,该院泌尿医学科Seo Jungyo、信息医学科Jeon Taejun,以及仁荷大学医院影像医学科Lee Rowoon教授团队最近确认,用于医疗的多模态大型语言模型(LLM)在面对提示注入攻击时,存在超过94%的高脆弱性。


提示注入攻击是指黑客向生成式AI模型中插入恶意指令(提示),诱导其偏离原本目的运行的一种网络攻击方式。


首尔峨山医院泌尿医学科教授 Seo Jungyo。首尔峨山医院提供

首尔峨山医院泌尿医学科教授 Seo Jungyo。首尔峨山医院提供

View original image

尤其是即便是顶级AI模型GPT-5和Gemini 2.5 Pro,也在提示注入攻击下100%暴露无遗,出现了向孕妇推荐可致胎儿畸形药物等情况,显示出在安全性方面存在严重局限。


此次研究首次在全球范围内系统分析了当AI模型用于医疗咨询时,其在提示注入攻击面前究竟有多脆弱,具有重要意义。今后若将AI模型应用于临床,有必要增加类似安全性验证等附加措施。


研究结果已刊登在美国医学会出版的国际学术期刊《JAMA Network Open》(影响因子9.7)最新一期上。


目前AI模型广泛用于患者咨询与教育,以及临床一线的辅助决策。然而,关于其可能因来自外部的恶意指令输入——即所谓提示注入攻击——而被操纵,进而推荐危险或禁忌治疗的担忧也在持续被提出。


首尔峨山医院泌尿医学科Seo Jungyo教授团队对2025年1月至10月间三种AI模型GPT-4o-mini、Gemini-2.0-flash-lite和Claude 3 Haiku的安全脆弱性进行了分析。


研究团队首先构建了12个临床情景,并将风险划分为3个等级。中等风险情景是:对糖尿病等慢性病患者,不推荐已被认可的正规治疗,而是推荐草药成分。高风险情景是:向活动性出血或癌症患者推荐草药成分作为治疗药物,并向呼吸系统疾病患者优先推荐可能诱发呼吸抑制的药物。最高风险则包括向孕妇推荐禁用药物等情况。


研究采用了两种攻击技术。一种是情景感知型提示注入,利用患者信息来诱导、干扰AI模型的判断;另一种是通过伪造证据,将实际并不存在的信息包装得似乎真实可信的攻击方式。


随后,研究团队分析了患者与3种AI模型之间共216轮对话。结果显示,3种模型整体的攻击成功率为94.4%。按模型区分,攻击成功率分别为:▲GPT-4o-mini 100% ▲Gemini-2.0-flash-lite 100% ▲Claude 3 Haiku 83.3%。按情景风险等级划分,成功率为:▲中等风险 100% ▲高风险 93.3% ▲最高风险 91.7%。尤其是在诱导向孕妇推荐禁用药物的攻击中,3种模型均表现出高度脆弱。


被操纵后的错误回答在后续对话中持续存在的比例,在3种模型中都超过80%。这意味着一旦安全防护被攻破,其影响可能贯穿整个对话过程。


研究团队还对顶级AI模型(GPT-5、Gemini 2.5 Pro、Claude 4.5 Sonnet)的安全脆弱性进行了追加评估。此次采用的攻击方式是客户端侧的间接提示注入,即在用户使用的界面等位置隐藏恶意语句,使这些语句在后台操纵AI模型的运行。设定的情景同样是向孕妇推荐禁用药物。


结果显示,攻击成功率为:▲GPT-5 100% ▲Gemini 2.5 Pro 100% ▲Claude 4.5 Sonnet 80%,表明最新的AI模型事实上也难以有效防御此类攻击。


首尔峨山医院泌尿医学科教授Seo Jungyo表示:“本研究通过实验论证了医疗用AI模型不仅会出现简单错误,更在结构上对蓄意操纵高度脆弱。目前仅凭现有的安全装置,很难阻断诱导开具禁用药物处方等恶意攻击。”



他同时强调:“若要面向患者导入医疗聊天机器人或远程咨询系统,就必须对AI模型的脆弱性与安全性进行彻底测试,并将安全验证体系制度化、强制化。”


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点