AI国际学术会议“ICLR 2026”论文被接收
已在GitHub以开源形式公开

Kakao于3日表示,其自主开发的用于评估人工智能(AI)模型编排能力的指标“编排基准测试”已被全球三大人工智能学会之一的“ICLR 2026”录用为论文。


Kakao称,国际表征学习会议(ICLR)被视为人工智能领域最高级别的学术大会。ICLR 2026共收到约1.9万篇论文,仅录用了其中前28%,竞争极为激烈。


Kakao表示,其自主开发的用于评估人工智能模型编排能力的指标“Orchestration Benchmark”已被世界三大人工智能学会之一的“ICLR 2026”接收为论文。Kakao提供

Kakao表示,其自主开发的用于评估人工智能模型编排能力的指标“Orchestration Benchmark”已被世界三大人工智能学会之一的“ICLR 2026”接收为论文。Kakao提供

View original image

Kakao近期关注到,大型语言模型(LLM)正从简单的问答功能,朝着能够规划和协调用户所需各类任务的“Agentic AI”(具备自主代理能力的人工智能)方向高度发展,因此开发了本次基准测试。该基准测试重点评估模型在真实服务环境中的多步骤、多领域处理能力。


以往的大型语言模型基准测试只能进行片段式性能评估,难以有效评价模型在适时调用合适工具以及管理任务间依赖关系方面的编排能力。为此,Kakao基于真实服务场景提出了一种新的框架,将人工智能模型的任务规划与工具执行分离开来进行评估。


此次编排基准测试涵盖旅行、购物、金融、日程等17个服务领域,并配置了100个虚拟工具。评估场景以用户变更请求、追加提问等真实服务中的对话流程为基础构建。所有评估数据均由AI标注员手工构建和验证,支持韩语和英语两种语言。韩语部分则反映了本土文化特性和语境,从而提升评估的准确性和可信度。


Kakao为促进全球人工智能生态的活跃以及研发成果的自由利用,已在开源平台GitHub上公开了相关论文。



Kakao相关负责人表示:“编排基准测试是评估Agentic AI在真实服务环境中能否稳定运行的核心工具,在当前人工智能正向能够自主判断与执行的Agentic AI演进的阶段,具有重要研究意义。”他还表示:“今后也将持续开展有关智能体之间协作及编排能力强化的研究,并推进符合Kakao Agentic AI发展方向的相关技术高度化。”


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点