通过专家混合架构提升计算效率
为Agentic AI增强工具能力

Kakao表示,已基于自研技术升级开发的人工智能(AI)语言模型“Kanana-2”,并以开源形式追加公开了4种模型。


Kanana-2是Kakao在2023年12月通过全球开源AI平台“Hugging Face”以开源形式公开的语言模型。此后时隔一个多月,又将性能升级后的4种模型以开源形式追加公开。


Kakao表示,已基于自有技术实力升级开发出的下一代语言模型“Kanana-2”,并以开源形式追加公开4种模型。Kakao提供

Kakao表示,已基于自有技术实力升级开发出的下一代语言模型“Kanana-2”,并以开源形式追加公开4种模型。Kakao提供

View original image

此次公开的4种模型主打高效率和低成本。尤其是进行了优化,使其在英伟达A100级别的通用图形处理器(GPU)上也能顺畅运行,从而减轻中小企业和学界研究者的成本负担,并提升实用性。一般而言,要运行高性能的最新AI模型,需要高价GPU基础设施。


Kanana-2高效性的核心在于“专家混合(Mixture of Experts,MoE)”架构。该模型的整体参数规模为320亿个(32B),但在实际推理时,仅激活与情境相匹配的30亿个(3B)参数,以此提升运算效率。Kakao自行开发了MoE模型训练所必需的多种内核,在不牺牲性能的前提下提高训练速度并减少内存占用。


数据训练阶段也进行了高度化处理。在预训练和后训练之间新增“中间训练(Mid-training)”阶段,并为防止AI模型在学习新信息时遗忘既有知识的“遗忘现象”,引入了“重放(Replay)”技术。通过这一方式,在增加新的推理能力的同时,仍能保持既有的韩语运用能力和一般常识能力。


Kakao此次在Hugging Face上追加公开了包括:基础(Base)模型、指令执行(Instruct)模型、推理特化(Thinking)模型、中间训练(Mid-training)模型在内的共4种Kanana-2模型。通过同时提供在研究用途上利用度较高的中间训练探索用基础模型,提高了对开源生态的贡献度。


为实现能够代替人类执行实质性工作的代理型AI,工具调用能力也得到强化。Kakao集中训练了高质量的多工具调用数据,增强了指令执行和工具调用能力。公司表示,通过这一点,模型能够准确理解复杂的用户指令,并能自主选择并调用合适的工具。


由此,在实际性能评估中,相比同级竞品模型、阿里巴巴的“Qwen-30B-A3B-Instruct-2507”,在指令执行准确度、多轮工具调用性能以及韩语能力等方面表现出优势。



Kakao Kanana成果负责人Kim Byeonghak表示:“焕然一新的Kanana-2,是我们围绕‘如何在不依赖高价基础设施的情况下实现实用的代理型AI’这一问题进行深入思考后的成果”,并称“希望通过在通用基础设施环境中也能实现高效率的模型以开源形式公开,能够成为推动韩国国内AI研发生态发展以及企业导入AI的新选项”。


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点