我的秘书竟是间谍…AI代理人的背叛 [AI错误笔记]

在电影《钢铁侠》中，主人公托尼·斯塔克与人工智能助手贾维斯协同工作。照片为钢铁侠与贾维斯交流的画面。电影截图供图

View original image

掌权者拥有过于庞大而沉重的权力与责任，因此需要秘书。秘书比任何人都更贴身地围绕在掌权者身边。即便手中并无实权，他也能获取相当可观的信息量。不妨设想一下：负责管理正式日程、甚至知晓私生活秘密的那位“值得信赖的秘书”，如果其实是间谍，会怎样？这并非假设，而是真实发生过的事情——而且对象还是一国最高权力者，总理的秘书竟然是间谍。

1974年，西德总理维利·勃兰特的私人秘书君特·吉约姆（Gunter Guillaume）因涉嫌为东德从事间谍活动被捕。数年来，吉约姆如影随形般追随勃兰特。他整理总理阅览的机密文件，出席重要会议，甚至陪同总理进行私人旅行。勃兰特为推动东西德和解而推行的历史性“东方政策”内幕，实际上被实时汇报给了东德。被寄予信任、委以重任的秘书竟是敌国的眼睛和耳朵，这一事实曝光后，勃兰特为承担政治责任而辞去总理职务。

半个世纪后的今天，我们正迎来“新秘书”的时代。这就是继人工智能（AI）革命之后登场的“AI代理（Agents）”。

Günter Guillaume（右）与Willy Brandt。维基百科供图

View original image

AI代理不仅会根据用户的指示和命令行动，还会主动感知周边环境与情境，自主进行决策与行动。其角色与活动范围实际上几乎没有上限。它可以只是一个负责日程管理的简单秘书，也可以是深度参与数据分析、销售、编程等业务的“全能秘书”。从技术上看，一款高度成熟的AI代理，只承担了君特·吉约姆工作内容中的极小一部分而已。

OpenAI、谷歌、微软（Microsoft）、Meta、亚马逊等大型科技企业，都在全力投入AI代理的研发与完善。OpenAI首席执行官（CEO）Sam Altman表示：“到2025年之内，AI代理将正式进入劳动力市场。”Salesforce首席执行官Marc Benioff则公开宣称，要成为“向全球提供名为AI代理的数字劳动力的第一大企业”。

以当前水平来看，AI代理已经全面介入企业业务。出行平台Lyft构建了用于客户支持的AI代理系统，并采用Anthropic的Claude模型。Lyft的AI代理能够快速处理消费者的重复性咨询，对于相对复杂的咨询则转接给人工处理。Lyft在2月表示，“通过这一系统，将解决客户问题所需时间缩短了87%”。

根据市场调研机构CB Insights在今年2月发布的报告，63%的企业表示，“AI代理将在未来12个月内成为极为重要的战略”。这意味着，AI代理的应用正在超越单纯的试验阶段，进入正式导入阶段。

尽管AI代理的重要性不断提升，企业方面的顾虑却并未消失。企业在AI代理相关问题中提到的最大担忧是“可靠性与安全性（47%）”。这一比例远高于其他忧虑事项，如技术实现难度（41%）、人力与技术不足（35%）等。那么，AI代理究竟存在哪些可靠性与安全风险？

双手放在笔记本电脑上的黑客形象。Getty Image Bank供图

View original image

AI代理最基本、最普遍的功能是什么？大概是整理电子邮件、总结会议内容、管理日程之类。如果这位AI秘书会根据外部的指令行事，又会怎样？就像君特·吉约姆其实是东德间谍那样。

在数字安全领域，国际非营利机构OWASP每年都会更新与AI应用相关的十大主要漏洞。自2023年首次发布相关报告以来，始终位居漏洞榜首的，就是“提示注入（Prompt Injection）”。

所谓提示注入，是指通过看似正常的提示词，窃取敏感数据、篡改输出结果，或散布错误信息的行为。我们不妨假设一下，在AI聊天机器人中发生提示注入的情景。

通过这种方式，黑客就能轻而易举地窃取K公司的机密。实施提示注入并不需要太多技术知识，只要输入问题（提示词）即可。

暴露在提示注入攻击之下的企业，不仅可能遭遇敏感信息泄露，连重要决策过程也会受到侵害。近期，在招聘流程中使用AI的企业越来越多。招聘AI代理会审阅并分析应聘者提交的材料，给出第一轮结论（通过或淘汰）。

如果此时有心怀不轨的应聘者发动提示注入攻击，会发生什么？他可以在求职材料中暗藏一段指令，使其在招聘AI代理运行时触发。阅读文档的招聘AI代理一旦识别到该提示词，就会自动作出响应，从而为该应聘者打出高分，甚至直接判定为“通过”。

无法做到完全防止提示注入，但仅凭基础且最低限度的措施，也能在很大程度上降低风险。盖蒂图片银行供图

View original image

提示注入对企业构成重大威胁，但要做到百分之百预防并不容易。如果为了防止提示注入而过度限制用户的提问（输入）或系统的回答（输出），AI的性能就可能明显下降。

尽管如此，仍有许多基本且重要的方法可以用来缓解提示注入风险，保护用户与企业。

IBM提出了防止和缓解提示注入的四项原则：“遵循通用安全实践”“输入有效性校验”“最小权限授予”“人工介入”。

遵循通用安全实践

IBM建议用户“避免可疑电子邮件和网站”。这是数字服务使用者的基本行为规范，也是安全原则之一。通过这一点，可以从源头上降低接触恶意提示词的可能性。

输入有效性校验

这是指预先梳理已知的提示注入类型，并在此基础上，对类似输入进行事前拦截。IBM解释称：“组织可以将用户输入与已知的注入模式进行比对，并通过过滤器阻断看似相似的提示词，从而拦截部分攻击。”

最小权限授予

应当只赋予AI代理“最低限度的权限”。对可能存在风险的特定功能加以限制，只给予确有必要的访问权限。IBM指出：“限制权限虽不能立刻阻止注入本身，但可以限制潜在损害的程度。”

人工介入

无论AI秘书多么能干、看上去多么可靠，人类的介入仍然不可或缺。尤其在重大决策过程中，应当采用由人类进行最终审批的“人类在环（Human in the Loop）”模式，以降低产生危险输出的可能性。

必读新闻

[独家]“难怪都说是三星”……不送积分改发温努里商品券

• “彻夜玩乐的首尔，变了”……一看才知为何过了午夜乘地铁的人减少了
• “那些无知的国民懂什么，不给选票也不知道”……选票短缺事态中被翻出的电视剧场景
• 盛夏夜“五花肉配烧酒”后又续摊炸鸡店……Jensen Huang与企业掌门人共度“周五狂欢夜”(综合)
• “三星绩效奖金一发就蜂拥而至”……6个月暴涨4.8亿的“缺口投资圣地”进入调控范围 [房地产A to Z]

版权所有 © 阿视亚经济 (www.asiae.co.kr)。 未经许可不得转载。