SK电讯第3、LG AI研究院第4……与第二轮评估结果无直接关联
仅抬高基准测试表现的“刷基准分”行为也引发争议
参加政府自主人工智能(AI)基础模型项目第二轮评估的两家初创企业,在全球机构的性能基准测试中意外领先于两家大型企业。
据全球AI性能评估机构Artificial Analysis于13日公布的数据,该机构编制的“Artificial Analysis智能指数”中,Motif Technologies的大语言模型(LLM)“Motif 3”获得47分。这是参与自主AI基础模型项目第二轮评估的企业所推出模型中的最高分。Artificial Analysis智能指数是本轮评估的衡量标准之一。
位居第二的是Upstage。该公司为第二轮评估推出的“Solar Open 2”获得37分。随后依次是SK电讯的“A.X-K2”,得分35分;LG AI研究院的“K-EXAONE 2.0”,得分31分。LG AI研究院在第一轮评估时曾以基准测试综合得分33.6分位居第一,但其在第二轮评估中推出的模型,在Artificial Analysis评估中获得了韩国本土模型中的最低分。
不过,此次Artificial Analysis智能指数得分并不直接决定自主AI基础模型项目第二轮评估的最终结果。该机构发布的Artificial Analysis智能指数采用综合指数方式,将知识、推理、编程等各领域的多项单独基准测试汇总并换算为单一分数。由于纳入哪些基准测试会对得分产生较大影响,因此分数波动也较大。此外,围绕不提升模型实际性能、仅抬高基准测试分数的所谓“刷基准分”行为,也存在争议。
实际上,在自主AI基础模型项目第二轮评估中,基准测试评估在总分100分中占40分,其中Artificial Analysis智能指数占25分,韩国智能信息社会振兴院的基准测试评估占15分。其余分值由专家评估(35分)和用户评估(25分)构成。
尤其是,该指数未反映作为自主AI基础模型项目第二轮评估主要要素的韩语性能,也被视为一项局限。包括韩语在内的多语言理解能力、特定产业任务中的性能以及运行效率等,均难以仅凭Artificial Analysis智能指数加以判断。
政府将以12日截止的国民评估为最后环节,于近期公布自主AI基础模型项目第二轮评估结果。本轮评估中,4家参与企业中将有1个团队被淘汰,3个团队晋级下一阶段。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。