“据说连AI都很难解答”……2500道题“人类最后的考试”公开
《自然》刊登超高难度人工智能基准测试
共2.5万题目…韩国本土研究团队参与命题
在全球主要人工智能(AI)模型纷纷轻松通过人类设计的既有考试之际,连这些模型都无法解答的超高难度基准测试“人类的最后考试(Humanity's Last Exam,HLE)”已对外公布。
29日发表于国际学术期刊《自然》上的 HLE,是一项涵盖数学、科学、人文学等一百余个学术领域、共2500道试题的 AI 学术考试,韩国研究者也参与了命题。
HLE 是美国非营利机构 AI 安全中心(Center for AI Safety,CAIS)与初创公司 Scale AI 于去年1月首次公开的项目,经过约一年的验证后以正式论文形式发表。由于近期 AI 性能急剧提升,使既有基准测试事实上被“打废”,研究团队为此策划开发新的替代标准。
囊括百余学科领域……只保留连 AI 都解不出的题目
试题涵盖数学、物理学、化学、生物学、工学、计算机科学、人文学等一百余个细分领域。部分题目为要求同时理解文本与图像的多模态问题。来自50个国家、500余家机构的约1000名教授和研究人员参与命题,只将出题时性能最强的 AI 也无法解答的题目筛选出来,作为最终试题。
在全部试题中,数学占比最高,达41%。其中包括诸如翻译在墓碑上发现的部分拉丁文罗马碑铭,或询问蜂鸟种子骨所支撑的肌腱成对数量等,需要各领域专业知识的题目。
截至目前,各类 AI 在 HLE 中成绩普遍偏低。根据 CAIS 公布的评估结果,谷歌“Gemini 3 Pro”以38.3%的准确率取得最高分,OpenAI 的 GPT-5.2 为29.9%,Opus 4.5 为25.8%,DeepSeek 3.2 则仅为21.8%。
本土 AI 模型的成绩目前也较为有限。在仅针对文本试题的评估中,LG AI 研究院的“EXAONE”得分为13.6%,Upstage 的“Solar Open”为10.5%,SK 电信的“A.X K1”为7.6%。
韩国研究者参与命题……“不是判断 AGI 的标准”
论文作者中也包括 AI 初创公司 Aim Intelligence 的首席技术官(CTO)Park Haeon、延世大学教授 Kim Daehyun 在内的6名韩国机构研究人员。CTO Park Haeon 表示:“我主要出的是需要复杂计算的离散数学题,是那种 AI 解题过程看似相近,但最终答案的数字会出现误差的题目。”
不过,研究团队对于将 HLE 成绩解读为通用人工智能(Artificial General Intelligence,AGI)达成与否的标准则保持谨慎。他们解释称,高分仅意味着专业知识与推理能力有所提升,并不代表 AI 已经进入像人类一样主导全新研究的阶段。
CTO Park 表示:“我并不认为 HLE 会成为‘最后’一个基准测试”,并称“在 AI 安全性以及对实际行为进行评估等领域,仍有许多尚未被填补的基准测试空白”。
Aim Intelligence 也正与韩国人工智能安全研究所(AISI)共同开发新的基准测试“审判之日(The Judgement Day)”,用于评估 AI 的安全决策能力。目前正与谷歌 DeepMind、英伟达(Nvidia)、牛津大学合作,并在征集安全场景。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。