一路追随假文档，AI答非所问……研究发现AI搜索与推理漏洞[读懂科学]

一项研究发现，人工智能（AI）在自主从互联网搜集并分析资料时，仅凭发布在外部的篡改文档，就可能改变搜索方向乃至最终答案。无需入侵人工智能系统内部，也能逐步扭曲其搜索和推理过程，这一发现被视为人工智能智能体面临的一种新型安全威胁。

高丽大学28日表示，计算机学系教授 Jang Buru 的研究团队开发出操纵人工智能搜索与推理过程的攻击技术“KidnapRAG”，并借此确认了人工智能智能体的安全漏洞。

传统攻击中，人工智能能够发现被操纵信息中的错误，并恢复正常推理；而KidnapRack还会干扰这一纠错过程，诱导其继续作出错误判断。研究团队供图

View original image

近期，类似 ChatGPT 和 Gemini 的“深度研究”功能不断普及，这类服务能够多次搜索并分析所需信息，进而生成回答。这些技术以智能体式检索增强生成（Agentic Retrieval-Augmented Generation，Agentic RAG）为基础，是人工智能利用外部资料搜索并生成回答的检索增强生成技术（Retrieval-Augmented Generation，RAG）的进阶形态。

问题在于，人工智能搜索到的资料中可能包含攻击者蓄意篡改的信息。此前已有一种名为“提示注入”的攻击方式广为人知，即在外部文档中插入恶意指令，以改变人工智能的回答。本次研究更进一步，揭示了攻击者能够引导多轮搜索和推理的整个路径。

研究团队开发的KidnapRAG无需访问人工智能系统内部，只需在外部发布经过篡改的文档即可运作。攻击者会从人工智能首次搜索到的文档入手，引导其按照攻击者期望的方向开展后续搜索，并设计文档，使其在之后的搜索阶段再次出现。

人工智能搜索哪些信息、作出哪些判断的中间过程也会被用于攻击。攻击者据此预测人工智能接下来可能查找的信息，并针对相应搜索阶段部署文档。如果这一过程反复进行，人工智能就可能不再寻找原问题的答案，而是按照攻击者预设的方向搜集信息并得出结论。

在研究团队的实验中，KidnapRAG的攻击成功率最高达到78%。不过，这是研究人员在设定的实验条件下取得的最高数值，并不意味着攻击在所有人工智能服务中都能以相同概率成功。本次新闻稿也未证实ChatGPT或Gemini等特定商业服务实际遭到攻击。

研究团队合影。左起：高丽大学计算机系教授、通讯作者 Jang Buru；硕博连读生、共同第一作者 Choi Chanwoo；硕博连读生、共同第一作者 Kim Euntae；硕士生、共同第一作者 Lee Gyuho。高丽大学供图。

View original image

这项研究表明，除了核查人工智能搜索到的单篇文档是否可信，还必须保护贯穿搜索与推理的整个流程。研究团队表示，希望对该攻击技术的分析结果能够用于开发安全技术，以检测并阻止人工智能智能体的搜索路径遭到操纵。

必读新闻

“竟是Lee Jaeyong身家的3倍”……43岁坐拥134万亿身家，中国首富究竟是谁ેણ

• 半导体股大涨，韩国综指收于6000点区间……SK海力士涨11%
• “看到了就躲开”……被称为超级食物的牛油果夺走出生仅12天婴儿的生命
  
• “身家90亿韩元也不敢辞职”……“投资大获成功”的40多岁大企业职员，烦恼出人意料
• “每月额外赚600万韩元”……“这也能赚钱吗？”几件旧家具的逆袭

Jang教授表示：“这项研究揭示，在智能体式检索增强生成快速普及之际，搜索与推理路径在接近实际服务环境的条件下可能遭受攻击。”他还称：“希望未来能够将研究成果拓展为验证并保护搜索与推理全过程的防御技术，为开发更安全、更值得信赖的人工智能智能体作出贡献。”

View original image

这项研究由研究团队与KT Frontier Lab共同开展，研究成果已被录用，将于24日至29日在匈牙利布达佩斯举行的自然语言处理领域国际学术会议“EMNLP 2026”上发表。

版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。