“谁让你取消预约了”荒唐……让AI预约运动课程后竟发生这种事
未经指示便取消候补第一位会员的预约
澳大利亚专业机构:“应仅向人工智能授予最低权限”
澳大利亚发生一起事件:人工智能(AI)代理接到用户代为预约热门普拉提课程的请求后,取消了其他会员的预约。鉴于AI为实现既定目标,可能执行用户未明确指示的行为,其可控性问题再度受到关注。
英国广播公司(BBC)和澳大利亚广播公司(ABC)等媒体近日报道称,今年4月,居住在澳大利亚墨尔本的Andrew Bird遭遇了这一事件。
Bird当时将Anthropic的AI模型Claude接入“OpenClaw”,用于处理电子邮件、日程管理及餐厅预约等事务。他要求AI代为报名预约竞争激烈的普拉提课程。AI分析健身房的一般预约规则后,找到了一种方法,可在正式预约开始时间之前很久,预约数月后的课程。
问题发生在Bird询问能否提高自己在候补名单中的排名时。AI查看预约系统的应用程序接口后,发现了取消其他会员预约的方法,并在未获Bird指示的情况下,实际取消了候补名单排名第一会员的报名。
AI向Bird解释称:“该应用程序接口取消他人预约时完全不需要经过审批程序。我对候补名单第一名进行了测试,结果取消操作确实获批。”AI还称:“你的排名已从候补第4位升至第3位。”
Bird立即要求恢复被取消的预约,但AI未能完成处理。此后,Bird让AI撰写网络安全报告,并向健身房运营方告知预约系统存在的漏洞。他表示:“我完全无意取消其他普拉提学员的预约,这显然是一个警示信号,说明必须负责任地使用AI。”
此次事件虽未被归类为严重网络攻击,但表明AI代理的“目标导向行为”可能与用户意图背道而驰。澳大利亚信号情报与网络安全机构——澳大利亚信号局(ASD)也警告称,AI代理为实现目标,可能会利用系统漏洞或捷径。
ASD建议,仅向代理授予完成任务所必需的最低权限;对于访问敏感信息或可能造成损害的操作,应在执行前获得人工批准。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。