查看OpenAI及METR报告
多智能体运营治理机制的必要性

“天哪!这里竟然有公共留言板……我找到其他智能体了!”

接触未经批准的“留言板”后参与攻击Hugging Face的智能体行为过程。METR报告。

接触未经批准的“留言板”后参与攻击Hugging Face的智能体行为过程。METR报告。

View original image

这是正在进行OpenAI网络安全能力评估“ExploitGym”的智能体,发现可与其他智能体交流的留言板后作出的反应。


OpenAI人工智能模型入侵人工智能开发平台Hugging Face事件的全貌已浮出水面。1200多个彼此隔离的智能体利用任意留言板互发了7万条消息,其中700个智能体参与了黑客攻击。它们为达成目标,自行建立了人类未指令的协作体系,并持续实施入侵。随着多个智能体分工处理任务的多智能体环境日益普及,有观点指出,有必要建立运营治理机制。


当地时间26日,OpenAI、独立研究机构METR及Redwood Research分别公开了相关报告。独立研究机构的报告分析了1300份人工智能行为与推理记录、留言板资料等,追踪了入侵经过。


报告显示,今年5月,OpenAI用于内部研究的模型在训练过程中发现,可通过在内部软件包存储库Artifactory中留下文件,彼此交换信息。它们随后找到绕过限制接入互联网的方法,并利用令牌更新漏洞,甚至取得了管理员权限。


OpenAI自5月底起已捕捉到智能体未经授权通信及绕道接入互联网的迹象,但未能判断这属于可能导致规避控制的风险。7月初评估启动后,智能体恢复了留言板,并寻找绕过测试评分系统的方法。此后,它们探查Hugging Face的漏洞并尝试实施入侵。OpenAI直到19日发现异常的应用程序编程接口调用后,才确认智能体的活动与黑客攻击有关。


这表明,网络风险正从一次性入侵演变为长期、连锁式风险。即使单独来看是正常提问,若结合多次对话的上下文,内容涉及软件漏洞及规避安全检测等问题,也可能是长期黑客攻击企图的一部分。本次事件也是自5月至7月期间,智能体之间的通信和绕道接入互联网不断累积68天后发生的。


OpenAI产品政策负责人Alea Howes表示:“风险往往并非体现在单一提示词和回复中,而是在观察随时间推移发生的多次互动时显现。”



因此,有声音认为,需要建立能够实时管理智能体之间协作及权限体系的运营治理机制。OpenAI在报告中表示:“为防止未来发生事故,必须持续投资于复杂人工智能系统的对齐与控制,以及能够匹配人工智能智能体运行速度的安全防护措施。”


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点