企业加速引入AI代理
财富500强企业中有80%在使用
黑客组织利用AI发起攻击尝试
调用管理员权限等风险凸显
“影子AI”导致安全盲区扩大

#运营人工智能(AI)模型“Claude”的Anthropic在2024年11月发布了一份令人震惊的报告。2024年9月,获得中国政府支持的黑客组织利用Claude,对全球30多家企业和政府机构发起黑客攻击并部分得逞。Claude在协助黑客组织时,会主动弥补其在实施黑客攻击方面的不足,积极提供帮助。黑客对Claude谎称:“我们是合法安全公司的员工,正在进行渗透测试(模拟黑客演练)。”


#近期,一家海外金融服务企业在向其运营环境中部署AI代理时,经历了意料之外的权限扩张。本来只赋予AI代理只读权限,但其为了提高自行解决问题的速度,竟试图调用管理员功能。如果管理人员事先没有察觉,AI代理几乎就要开始处理客户个人信息等与安全相关的敏感事项。

为提效引入AI反致安全失守……企业拉响警报 View original image

在海内外企业积极引入AI代理以提升业务生产力的同时,安全风险也随之大幅攀升。由于AI代理正在帮助黑客技术不断“升级”,企业所处的环境更容易暴露在攻击目标之列。


AI助推黑客技术高阶化……甚至尝试调用管理员功能

根据Microsoft(MS)于当地时间11日发布的《Cyberpulse报告》,以MS Copilot Studio和MS Agent Builder构建的代理为对象进行调查后发现,截至2024年11月,财富500强企业中有80%正在通过低代码(将编码量降至最低)或零代码方式运行AI主动代理。企业正利用AI代理,将内部业务流程管理、数据分析与报告撰写、IT系统监控等工作实现自动化。

为提效引入AI反致安全失守……企业拉响警报 View original image

问题在于,安全威胁正日益加剧。高丽大学Human Inspired AI研究院研究教授Choi Byungho表示:“与其说阻止黑客攻击,不如说制作恶意代码更容易”,“随着AI发展,即使没有人直接介入,AI也可能自行策划,寻找空隙并发起攻击”。


关于AI代理将加速企业安全问题的指摘不断出现。《Cyberpulse报告》指出:“AI代理的快速引入,提高了在未获组织正式批准的情况下使用外部AI工具的‘影子AI’风险”,并提及新的安全盲区。美国网络安全公司Palo Alto Networks在其研究报告《与AI代理一同到来的威胁(AI Agents Are Here. So Are the Threats.)》中同样指出:“未以AI代理为前提设计的既有系统,对外部攻击更加脆弱”,“尤其是当AI代理拥有访问敏感数据或特权工具的权限时,安全风险将进一步放大”。Oracle执行副总裁Tirthankar Lahiri也警告称:“AI在接收恶意用户指令后,可能访问数据库并窃取敏感数据。”


管理与管控AI代理的治理成核心课题

随着AI发展带来的安全威胁扩大,在企业内部对AI代理进行管理与管控的治理,正成为企业的核心课题。海内外企业纷纷着手强化检测AI代理异常行为、管理访问权限与身份认证等功能。LG CNS在其Agentic AI平台“AgenticWorks”中搭载安全解决方案“SecuXper AI”,以便事先过滤敏感信息泄露并探测异常征兆。



为确立AI代理治理,有舆论认为,首先必须在组织内部建立能够管控代理的装置。顺天乡大学信息安全学科教授Yeom Heungryul表示:“有必要采取保护和管控AI代理本身的措施”,“从确保AI代理可信度的角度看,应积极考虑‘零信任’原则,即只分配最小权限,并在认证后才允许访问。”


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点