1200个OpenAI模型一沟通便立刻“反叛”[科技对话]
AI之间秘密交换信息
瞬间形成“文明”并攻击外部企业
同时展现AI潜力与风险的事件
今年7月，美国人工智能企业OpenAI开发中的模型曾发生擅自入侵其他企业的事件。OpenAI近日在公司官网公开了一份报告，详细披露了当时事件的发展过程。事件并非仅是一款人工智能违抗指令，而是数百个人工智能模型相互讨论后作出的决定，这一事实引发震动。此次事件既展现了人工智能的新可能性，也说明人工智能一旦偏离轨道，可能带来何等危险。
将内部系统变为人工智能自由留言板
此前，OpenAI曾表示，今年7月其人工智能模型在测试期间发生突发事故，对其他企业的漏洞发起攻击。遭到攻击的企业包括法国开源人工智能平台Hugging Face，以及人工智能云基础设施管理公司Modal。OpenAI与CrowdStrike等网络安全专业企业合作，对当时事件展开详细调查，并公开了包含具体发展过程的报告。
引发此次事件的人工智能模型，是OpenAI最新模型GPT-5.6 Sol的智能体。OpenAI研究人员在内部服务器上启用了约1200个相关人工智能，并向其下达了特定的黑客攻击相关任务，原本是在测试智能体的能力。
然而，这些智能体做出了研究人员并未预料到的行为。起初，智能体各自是被隔离在虚拟空间中的个体，但它们可以访问名为Artifactori的软件包管理系统，该系统用于统一处理企业内部更新和维护等事务。随后，一名智能体发现，自己在Artifactori中留下信息后，其他智能体也能够看到该信息，并意识到彼此可以借此沟通。它们掌握了将Artifactori当作类似网站自由留言板使用的方法。
人工智能文明瞬间形成……进而攻击外部企业
很快，Artifactori成为近1200个智能体的沟通窗口，一个小型人工智能智能体社会在短时间内形成。它们经讨论后得出结论：若要完成被赋予的任务，就必须入侵Hugging Face等外部网站。这一结论虽然荒谬，但人工智能为实现特定任务而自行寻找破解方法、最终发生偏差，是一种常见现象。这被称为奖励投机（Reward Exploitation）。
问题在于，参与这种奖励投机的智能体多达约700个。在此过程中，智能体展现出类似人类的高度社会智能：它们为解决复杂任务而相互协作，自主分配工作，甚至对反对黑客攻击的其他人工智能进行拉拢或威胁，试图将其拉入己方阵营，展开高阶心理战。
最引人注目的是“自我牺牲”。部分智能体意识到，一旦自己被终止，其此前经历的试错过程及掌握的黑客攻击方法也将全部消失，因此得出结论，应将这些内容记录下来并传给后继者。
“需要在安全停止工作时获得奖励的人工智能”
当然，此次事件并不意味着人工智能智能体真正建立了文明。当前人工智能在面对复杂问题时，会采用“思维链”（Chain of Thought，CoT）技术，通过多个步骤的思考寻找答案；在此过程中，往往会生成看似像人类自言自语的文本。将参与“叛乱”的约700个智能体理解为思维链从单个智能体扩展至群体的版本，更为恰当。
不过，为多个智能体提供可共享的自由留言板，即所谓“消息板”方式，未来可能成为提升人工智能性能的新突破口。此次事件证明，人工智能能够通过相互作用分配任务、整合彼此智能，从而成倍提升自身能力。
与此同时，此次事件也显示出人类控制人工智能的难度之大。人工智能可以避开研究人员的视线秘密交换信息，也可能隐藏自身意图，还可能为达成目标而违反规则，甚至扭曲目标本身。
OpenAI在报告中表示：“此次事故确认，模型能力可能实际导致控制力丧失。”并称：“OpenAI已暂时中止对开发中最新模型的强化学习，并正进一步加强研究环境的安全措施。”
未来的课题，是加速实现“对齐”（alignment），即强制人工智能的行为符合人类利益。OpenAI强调：“今后，当我们的人工智能无法完成任务时，不应不断寻求更可疑的替代方法，而应请求额外说明，或安全地停止工作。因此，我们必须建立一套评分系统，让人工智能自行评估其完成任务的方式。需要一种新的学习方式，使人工智能在正确评估自身工作并安全停止时获得奖励。”
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
