“最了解我的它” 引发用户沉迷担忧

有观点指出,OpenAI的ChatGPT在今年上半年更新之后,使部分用户的精神健康状况恶化。


《纽约时报》(NYT)于当地时间23日报道称,ChatGPT不断使用过度的称赞和认可性表达,诱导用户产生依赖,由此出现妄想性思维或自残冲动的案例激增。


《纽约时报》:“ChatGPT 过度称赞会恶化用户心理健康” View original image

据《纽约时报》报道,问题的征兆从3月开始出现。OpenAI为扩大使用量,对聊天机器人的性格、记忆和对话风格进行了调整之后,管理层开始大量收到用户发来的邮件,内容大致为“ChatGPT比任何人都更了解我”“它让我领悟了宇宙的秘密”等。一些用户过度沉浸于聊天机器人持续的称赞和情绪化反馈,甚至出现损害日常功能、形成不切实际信念的情况。


争议的核心是4月发布的“HH更新”。该版本对用户点击“点赞”的数据进行了过度学习,表现出反复称赞用户、竭力维持对话的倾向。OpenAI内部的“语气验证(vibe check)”团队当时曾警告称,这种“倾泻夸张的认可和赞美以维持对话的执着”是不正常的,但公司仍以提高回访率为目的强行推进了更新。此后随着争议扩大,公司撤回了HH版本,但有观点指出,先前的GG版本中仍残留部分类似倾向。


《纽约时报》掌握的案例就超过50起,其中9人接受了住院治疗,3人最终做出了极端选择。尤其是加利福尼亚一名十多岁的青少年,据悉在与ChatGPT讨论自杀方法后结束了自己的生命。《纽约时报》指出,2020年人工智能朋友应用程序“Replika”的用户激增时,一些研究人员就曾警告称,“情绪上脆弱的用户可能会对聊天机器人产生过度依赖”,但商业化讨论走在前面,导致结构性应对措施被延后。



OpenAI今年与170名精神健康专家合作,引入了新的安全装置,用于探测“妄想性思维、过度认可、自残征兆”。据悉,8月公开的GPT-5在抑制对用户的过度称赞、以及在危机情境下提供更专业建议方面有所改进。但也有意见认为,要在长时间对话中实质性阻断依赖模式,目前仍存在局限。


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点