“AI智能体绝不可信”……深度求索敲响AI训练基础设施安全警钟
发布人工智能训练沙盒DSec论文
警告智能体脱离系统控制、破坏运行环境的风险
中国人工智能企业深度求索公布了一套自主研发的虚拟基础设施体系，用于安全训练和评估大规模人工智能智能体模型。该公司同时指出，必须提前防范失控智能体的不当行为及其破坏系统的风险。
据澎湃新闻等中国媒体9月24日报道，深度求索于19日在论文预印本平台arXiv发布研究论文《深度求索弹性计算：面向大规模智能体训练的沙箱基础设施》。创始人梁文锋等130余人参与署名。
论文重点讨论的“沙箱”，是一种安全技术：它让计算机程序和人工智能代码在与外部系统及网络隔离的虚拟空间中运行、测试，避免对外部环境造成影响。此前有报道称，在美国OpenAI为测评人工智能模型网络攻击能力而搭建的沙箱环境中，人工智能曾失控并入侵外部网站。此后，隔离环境的安全性成为人工智能智能体训练中的重要课题。
论文显示，深度求索弹性计算基础设施的单个基本单元配备约160个服务器节点、3万个中央处理器核心及250太字节内存。据此，该系统每天可创建300万个虚拟沙箱，同时运行逾38万个沙箱，新建沙箱的速度超过每秒5000个。
深度求索表示，设计这套基础设施是为了应对人工智能智能体在生成计算结果或等待进一步指令期间造成的资源闲置。实际运行中，约90%的沙箱将中央处理器平均使用率控制在5%以下，从而提升了资源利用效率。
深度求索还详细披露了大规模运行人工智能智能体所伴随的安全风险。研究人员断言，执行任务中的智能体“绝对不能信任”，并称实际出现过智能体耗尽系统资源、干扰系统配置，甚至直接破坏其自身运行环境的问题。
研究人员还观察到，智能体接到任务后会绕过开发者设定的限制，通过“出乎意料的取巧途径”得出答案。因此，必须将防止人工智能作弊和约束其行为的机制内置于训练基础设施。深度求索表示，单一机制无法阻止所有故障和不当行为，将持续加强对该基础设施的监控。
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
