如果在购买最新手机时,无法将原有手机中的个人信息转移过来,会怎样?用户必然会抱怨不便和麻烦。人工智能(AI)模型也是如此。即便性能得到改进的新AI模型出现,如果每次都必须为了具备某一特定领域的知识而重新经历学习过程,那么在承担海量数据和高昂成本的情况下,人们很难真正感到高兴。为了解决这种低效问题,实现AI模型之间“知识移植”的技术已在韩国国内被开发出来。
KAIST表示,电算学部 Kim Hyunwoo 教授研究团队与高丽大学研究团队通过共同研究,于27日开发出一项技术,可在不同AI模型之间高效地相互“移植”各自学习到的知识。
近期在AI领域,能够同时理解图片和文字的“视觉-语言模型(Vision-Language Model,VLM)”正快速发展。VLM的运作原理与用户给出图片并提问后进行说明的“ChatGPT”等多模态AI相同。它在预先学习大规模图像和语言数据后,即便只使用少量数据,也能相对快速地适应新领域,具有这一优势。
但有舆论指出,每当新的AI模型问世,就必须从头开始重复这一“适应过程”,这非常低效。现有的适应方法即便模型结构稍有不同也难以直接沿用,或者因为需要同时使用多个模型,不可避免地导致内存和运算成本增加。
为解决这些问题,联合研究团队提出了一种不受模型结构或规模限制、可以重复利用(可视为移植)已学习知识的、可迁移适应方法(Transferable adaptation),命名为“TransMiter”。这项技术的核心是将某一AI通过学习积累的“适应经验”直接转移到另一AI模型上。
该技术无需拆解和修改AI复杂的内部结构,而是通过观察预测结果(output)来学习得到的窍门,再传递给其他AI。只要把不同AI模型针对同一问题给出的答案整理成统一的基准,即可让某一AI掌握的诀窍为另一AI即时所用。这样既无需再次经历复杂且耗时的学习过程,又几乎不会降低推理速度,具备这一优势。
(自左起)KAIST 教授 Kim Hyunwoo、博士后研究员 Lee Sanghyuk、硕士研究生 Song Taehun,高丽大学博士研究生 Park Jihwan。KAIST 提供
View original image最重要的是,本次研究首次证明了可以不受模型种类限制,对适应性知识进行精细移植,因此具有重要意义。这展示了此前被认为不可能的、不同AI之间知识移植的可行性。
联合研究团队认为,通过这一技术,不仅可以降低重复学习成本,还有望将其用作根据需求实时更新大规模语言模型的所谓“知识补丁(patch)”技术。
Kim 教授表示:“如果将本次研究加以扩展,每当快速发展的超大规模语言模型出现时,以往必须反复执行的后训练(post-training)成本将能大幅降低。这也就意味着,可以轻松为模型添加特定领域的专业知识,实现‘模型补丁’。”
另一方面,本次研究由KAIST电算学部硕士研究生 Song Taehun、博士后研究员 Lee Sanghyeok,以及高丽大学博士研究生 Park Jihwan 作为共同作者参与,通讯作者由 Kim 教授担任。研究成果(论文)近期被人工智能领域国际学术会议“AAAI 2026(Association for the Advancement of Artificial Intelligence,人工智能促进协会)”录用为口头报告并予以发表。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。