Naver公开AI标签页优化模型……“速度提升2倍,幻觉现象改善30个百分点”
为AI搜索服务开发的轻量化模型
较HyperCLOVA X扩大强化学习占比
Naver在“AI标签”中新增搭载了一款较超大规模人工智能(AI)模型HyperCLOVA X(HCX)具备更高响应速度和吞吐量的轻量化模型。与现有HCX相比,该模型扩大了强化学习比重,速度提升至2倍,幻觉现象改善了30个百分点。
Naver于本月2日在Naver D2SF江南举行了以“从探索到执行,AI技术打造的Naver AI搜索”为主题的技术深度对话环节,并作出上述说明。
当天的环节公开了实现下一代AI搜索的核心技术,包括对话式AI搜索“AI标签”优化模型、保障AI安全高效运行的Harness Engineering,以及扩展AI视觉理解能力的多模态技术等。
Naver Cloud超大规模AI模型理事 Lee Gichang 强调称:“应用于AI标签的模型,其特点在于从训练数据构建到模型设计、强化学习的全过程,均针对Naver服务进行了优化。”“目标是打造一款能在搜索、购买、预约等实际服务流程中,为Naver用户最准确、最高效运行的模型。”
此次新应用于AI标签的模型,是基于现有HCX、面向AI搜索服务开发的轻量化模型,属于一款将Naver的数据、服务场景和用户反馈全面反映到模型设计中的产品原生大语言模型(Large Language Model)。
该模型围绕数据、架构、训练三大轴心开发,以最大化服务效率。Naver通过文档质量过滤器提升训练数据质量,并构建了将复杂用户请求与最佳答案进行映射的“服务型数据采集管线”,从预训练阶段起就纳入了搜索、购物、地点、生活信息等领域的高质量数据。
在架构层面,该模型还引入了适合大规模服务环境的混合专家(Mixture of Experts)结构,从而较现有HCX实现了更快的响应速度和更高的处理量。尤其是,此次模型缩短了从输入到最终答案完成所需的总耗时。
在训练阶段,投入强化学习的计算资源较现有HCX扩大至2倍以上。Naver构建了将用户模拟器与搜索、预约等实际服务相连接的强化学习环境,使模型学会利用多种工具,持续完成用户任务直至结束。
对于无法直接作答的问题,在反问附加条件时,通过给予奖励提升模型性能的强化学习技术也被新引入。该技术属于明晰性强化学习,使AI不会擅自解释模糊请求,而是通过追加提问明确确认用户意图,从而改善了幻觉现象。根据Artificial Analysis的AA-Omniscience基准测试,专项模型的幻觉比例较现有HCX最多下降30个百分点。
此外,Naver还应用了OPD(基于自我策略的蒸馏)技术。其方式是让训练中的模型(Student)直接生成答案,再由高性能模型(Teacher)按词元单位进行修改补正,从而有效弥补其在薄弱专业领域的能力;同时,Teacher模型性能越高,Student也会同步提升,形成持续改进结构。
Naver表示,根据其对应用于AI标签模型在“搜索、购买、预约”等执行质量进行综合评估的自有基准测试结果,该模型在“服务能力”方面取得108分,高于全球同级模型平均分100分;在指令执行和通用工具调用等基础能力方面,也取得104分,高于同级平均的100分。
AI标签应用轻量化模型后成本最多降低3倍
当天,Naver还公开了稳定驱动其代理式搜索服务“AI标签”的核心技术“Harness Engineering”。应用于AI标签的Harness Engineering在控制AI避免给出不当回答的同时,还被设计为可自主查找所需信息,并恰当利用工具,将用户请求执行到底。其运行分为四个阶段:安全过滤、用户意图理解与长对话上下文管理、搜索·购物·地点等服务联动推理,以及出处提供与执行连接。
Naver还为提升大规模服务AI标签的效率,构建了分工型小规模语言模型(Small Language Model)结构。不同于由单一大型大语言模型处理所有任务,Naver通过组合按角色专门化的小规模语言模型,在降低运营成本的同时,也同步提升了响应速度和质量。实际上,AI标签采用轻量化专项模型后,部分组件的设备运营成本较此前最多降低3倍,响应速度则提升至2倍以上。此外,分工型小规模语言模型结构在开发出新的小型模型后,仅需以插件形式替换对应部分,因此无需中断服务即可持续改进性能。
Naver AI搜索服务负责人 Han Seunggyun 强调称:“要打造能在服务中良好运作的AI代理,不仅需要大语言模型,兼顾成本效率与稳定性的Harness Engineering同样必不可少。”“过去27年积累的搜索基础设施与经验、博客和Cafe等海量内容,以及购物、地点等多样化服务资产,通过AI技术连接起来,实现从搜索到执行的完整体验,这是任何人都难以轻易复制的Naver独有竞争力。”
Naver还一并公开了以布置在搜索框前端的Smart Lens为核心的多模态技术升级战略。多模态是一种将图像转换为AI可理解表达形式的技术,使其不仅能理解文本,还能同时理解并利用图像、视频等多种形态的信息。
Naver自2017年推出Smart Lens并上线图像搜索服务以来,已通过持续的技术升级积累了多模态搜索能力。Naver Future AI Center负责人 Yoon Sangdu 表示:“今后Naver的AI代理服务将不仅通过文本,也将通过图像理解用户意图,并朝着连接到实际行动的方向演进。”
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。