Kim Jongrak 西江大学教授团队对比国内外AI
韩Solar Pro得分2.0058万分…其余仅在20分段

对国内外大型语言模型(LLM)的数学高考及论述题解题能力进行评估的结果显示,韩国团队开发的模型性能明显低于海外模型。


Kim Jongrak 西江大学数学系教授研究团队于15日公布了测试结果:他们让国内国家代表级人工智能(AI)挑战赛的5个团队所开发的主要LLM,以及ChatGPT等海外5个模型,分别解答20道高考数学题和30道论述题。

为帮助理解报道内容而配发的示意照片,与正文无关。Pexels供图。

为帮助理解报道内容而配发的示意照片,与正文无关。Pexels供图。

View original image

研究团队在高考题部分,从共同科目、概率与统计、微积分、几何中各选取5道最难题目,共设定20道题。论述题部分则选取国内10所大学的历年真题10题、印度大学入学考试10题、日本东京大学工学院研究生入学数学考试10题,共30题。最终将这50道题交由10个模型作答。


韩国模型方面,使用了Upstage的“Solar Pro-2”、LG AI研究院的“Exaone 4.0.1”、Naver的“HCX-007”、SK Telecom的“A.X 4.0(72B)”以及NCSoft的轻量级模型“Llama Barco 8B Instruct”。


海外模型方面,使用了GPT-5.1、Gemini 3 Pro Preview、Claude Opus 4.5、Grok 4.1 Fast、DeepSeek V3.2 等。结果显示,海外模型得分在76至92分之间。韩国模型中仅Solar Pro-2获得58分,其余模型则以20分段的低分徘徊,其中Llama Barco 8B Instruct仅得2分,为所有模型中最低。

高考20道选择题加30道论述题解题结果内容。Kim Jongrak 教授团队

高考20道选择题加30道论述题解题结果内容。Kim Jongrak 教授团队

View original image

研究团队解释称,就国内5个模型而言,仅凭简单推理大多无法解题,因此特意设计为可使用Python作为工具以提升命中率,但即便如此,得分仍然不理想。


随后,研究团队又构建了由10道题组成的测试集,题目选自其自研的、按难度细分至大学阶段直至教授级论文研究阶段的题库“EntropyMath”(熵数学)中的100道题。此轮测试中,海外模型得分在82.8至90分之间,而韩国模型仅在7.1至53.3分之间,整体偏低。


在采用“最多尝试解题三次,只要答对即视为通过”的方式时,Grok获得满分,其余海外模型也取得了90分。韩国模型中,Solar Pro-2得分70分,Exaone为60分,HCX-007为40分,A.X 4.0为30分,Llama Barco 8B Instruct为20分。



Kim 教授表示:“身边很多人询问,为什么一直没有针对高考题对国内5个主权AI模型进行评估,所以我和团队成员一起进行了这次测试。通过此次结果可以看出,国内模型水平大幅落后于海外前沿模型。”


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点