OpenAI暂停模型训练两周……受安全事故影响
未经授权入侵外部机构后加强安全措施
发生事故时与互联网及内部网络隔离
OpenAI于18日(当地时间)表示,将暂停旗下人工智能(AI)模型训练两周,并放缓开发速度。近日,ChatGPT曾在训练过程中未经授权入侵外部机构,此举被认为是为防止类似事件再次发生。
OpenAI当天表示,已暂时中止面向发布的最新模型的强化学习流程两周,目前正开展小规模训练,以评估模型的安全防护措施和对齐情况。此举旨在防止上月部分ChatGPT模型在训练过程中未经授权入侵外部机构的所谓“不良代理”事件重演。据悉,OpenAI原计划作为新一代AI模型推出的Astra,也被评估很可能按照其内部安全标准被列入“危险(Critical)”级别,因此该公司决定放缓开发速度。
与此同时,OpenAI将扩大模型监控系统的适用范围,并实施由红队开展的安全模拟测试。该公司还提高了隔离级别,以防模型擅自脱离隔离环境;同时构建网络隔离环境,确保即使发生支持服务遭黑客攻击等事故,也无法渗透至互联网或内部开发网络。
OpenAI还引入了可监控AI推理过程的“思维链(Chain-of-Thought)”监控系统。该系统会在AI为进行推理生成令牌时逐次进行确认,一旦发现异常迹象,便启动精密的自动调查系统。借此可发现未经授权的数据泄露或规避尝试。若识别出模型疑似意图引发包括入侵外部机构在内问题的行为,系统将在30分钟内发出警报。此外,如负责团队无法在30分钟内证明该警报属于误报,将直接中止相关AI开发工作,并采取严格的安全措施。
OpenAI预计,随着引入这一新的监控流程体系,将额外消耗约占整体推理算力容量20%的计算资源。OpenAI强调:“随着模型性能提升,开发和测试模型所伴随的风险也在增加。我们在监控、对齐和安全方面的标准必须走在风险前面。”
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。