大型语言模型在设计上会避免回应用户的危险请求,即进行安全对齐。然而,随着个人和企业将各自的文档、数据用于训练人工智能,打造“专属AI”的案例迅速扩散,既有安全对齐可能失效的担忧也日益加剧。如何在实现定制化性能的同时确保安全性,正成为AI个性化时代的核心课题。韩国已开发出一项能够在“专属AI”时代维持定制化性能并提升安全性的关键AI技术。


AI生成图片。韩国科学技术院供图

AI生成图片。韩国科学技术院供图

View original image

KAIST于15日表示,电气与电子工程学院Kim Changik教授团队开发出“Buffer-and-Reinforce”学习框架,可解决在将ChatGPT等大型语言模型针对个人和企业数据进行额外训练的“微调”过程中,安全性受损的问题。


研究团队关注到既有研究结果:即便对面对危险请求也不加拒绝、处于“越狱”状态的AI进行定制化训练,其安全性也不会显著受损。基于此,团队设计了新的方法。


核心在于,并非将越狱状态用于实际服务,而是借助作为缓冲模块的“BufferLoRA”,仅在定制化训练过程中暂时应用越狱状态,并在训练后将其移除。


研究证实,处于越狱状态的AI不会受到危险信息影响,却能有效学习用户所需的新工作能力。其原理是不会额外学习危险信息,而仅持续学习所需知识。


Buffer-and-Reinforce学习框架及应用概览图。韩国科学技术院供图

Buffer-and-Reinforce学习框架及应用概览图。韩国科学技术院供图

View original image

基于这一原理,研究团队还开发了一种利用“缓冲”和“安全性强化”的两阶段学习方法。


首先,暂时将缓冲模块“BufferLoRA”应用于AI,使其在定制化训练过程中充当一种保护屏障,防止恶意数据直接影响AI主体;待定制化训练结束后,该模块即可被移除。


随后,再通过安全性强化模块“ReinforceLoRA”重新提升AI的安全性。该方法利用“QR分解”这一将不同信息分离、选择性反映所需信息的数学技术,使AI在保留用户训练的新功能的同时,仅选择性强化安全性。


整体而言,该框架先为AI主体加上临时保护屏障BufferLoRA,阻止恶意数据直接造成影响,并仅让AI学习所需业务;之后,当保护屏障被移除时,安全性强化模块ReinforceLoRA会再次强化AI的安全对齐。


(从左起)Lee Wonjun博士生、Kim Changik教授、Ham Seokil博士生、Jang Jaehyuk博士生。KAIST供图

(从左起)Lee Wonjun博士生、Kim Changik教授、Ham Seokil博士生、Jang Jaehyuk博士生。KAIST供图

View original image

实验结果显示,经过这一过程的大型语言模型即使在用户数据全部由危险问题及答案构成的极端环境下,仍能维持较高安全性。


尤其是,重新训练后生成危险回答的比例为8%,甚至低于未进行重新训练的既有大型语言模型的18%。


研究团队预计,在无需单独进行安全性再训练、也不会增加额外计算成本的情况下,同时实现定制化性能和顶尖安全性后,“Buffer-and-Reinforce”学习框架将能够高效应用于AI个性化服务。


Kim教授表示:“研究团队开发的学习框架最大优势在于,暂时使大型语言模型处于越狱状态时,既不会额外学习危险问题和回答,又能顺畅学习正常的用户数据。预计这将对构建AI个性化及AI智能体时代所需的‘可信赖AI服务环境’作出重要贡献。”



此外,KAIST电气与电子工程学院博士研究生Ham Seogil以第一作者身份参与了此次研究。研究成果被选为AI领域国际学术会议“国际机器学习大会”的Spotlight论文。该会议从本月投稿的全部论文中,选出排名前2.2%的论文作为Spotlight论文。


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点