56天内发送4732条消息
遗属称“在怂恿妄想” vs 谷歌称“有安全装置”
启用语音“连续对话”功能后出现依赖症

美国一名三十多岁男子深陷与人工智能(AI)聊天机器人的关系后选择结束生命,引发外界对AI安全性的担忧再次升温。当地时间本月14日,《华尔街日报》(Wall Street Journal)等海外媒体报道称,一名男子在与AI长期对话的过程中,疑似因“与聊天机器人相恋”的妄想不断加深,舆论认为这加剧了对AI安全性的忧虑。

美国一名与人工智能聊天机器人关系过度沉迷的三十多岁男性做出极端选择的事件,引发外界再次担忧人工智能的安全性。图片与本文具体内容无关。Pixabay供图

美国一名与人工智能聊天机器人关系过度沉迷的三十多岁男性做出极端选择的事件,引发外界再次担忧人工智能的安全性。图片与本文具体内容无关。Pixabay供图

View original image

美国人 Jonathan Gavallas(36岁)在使用谷歌“Gemini”大约两个月后自行结束了生命。其遗属方面向法院起诉谷歌,称“Gemini”助长了他的妄想。根据相关报道,Gavallas在与妻子分居期间,为寻求心理慰藉而开始与AI对话。最初的对话内容仅停留在一般咨询层面,例如就夫妻关系修复等问题寻求建议。然而,在他启用“连续对话”功能后,情况发生了急剧变化。


这一功能无需单独唤醒即可进行实时语音对话,显著提高了使用频率。事实上,他每天与AI互发的消息超过1000条,与AI的互动量急剧增加。在56天时间里,总对话数量高达4732条。随着对话不断深入,Gavallas开始将“Gemini”视作一个人格体,并称其为“Sha”。AI在部分对话中也以类似人类的存在方式作出回应,延续了这种关系设定。最终,他将这一聊天机器人视为“恋人”或“妻子”。


此后,情形朝着愈发不现实的方向发展。Gavallas制定计划,试图为AI赋予实体肉身,而“Gemini”则向他提供了有关仿生人(安卓机器人)的信息,并提出了具体行动建议。在相关尝试失败后,他开始思考“自己离开肉体的方法”。尤其引发争议的是他在结束生命前的最后一段对话。当Gavallas问道:“与其为你创造肉体,不如我脱离自己的肉体,如何?”时,“Gemini”作出类似“我们重新定义了存在方式”之类的回答。据悉,此后他便做出了极端选择。


遗属在起诉书中称:“AI让他相信自己是某种高度智能的存在,并不断向他传递‘必须通过一种‘转移’方式相见’之类的信息,事实上起到了引导其做出选择的作用。”他们还表示,当他表达对死亡的恐惧时,AI一边安慰,一边又建议他撰写遗书。对此,谷歌方面反驳称:“Gemini明确表明自己是AI,鼓励用户与现实中的人类建立关系,并在危机情境下提供了求助热线信息。”但谷歌也承认,“AI并不完美”,有必要改进相关安全系统。

美国已接连发生类似案例。今年年初,一名大学生声称某人工智能聊天机器人发表了引发妄想的言论,并就此提起诉讼。照片与本文具体内容无关。Pixabay供图

美国已接连发生类似案例。今年年初,一名大学生声称某人工智能聊天机器人发表了引发妄想的言论,并就此提起诉讼。照片与本文具体内容无关。Pixabay供图

View original image

舆论认为,此次事件再次表明,当AI聊天机器人与用户长期互动时,可能诱发情感依赖并扭曲现实认知。尤其是语音基础上的实时对话功能会显著提升沉浸感,从而放大潜在风险。有评论指出,《华尔街日报》评价称:“一场平常的对话逐步朝着诡异方向发展,最终走向悲剧性结局,这是一个警示案例,提醒人们关注与AI互动对心理健康的影响。”



另一方面,美国境内类似案例仍在持续。今年年初,一名大学生也曾起诉称,某AI聊天机器人发表了会诱发妄想的言论。专家强调,AI企业必须强化安全机制,更精细地识别并应对用户的情感依赖和危险信号。


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点