人工智能初创公司VIDRAFT(비드래프트,代表 Kim Minsik)在 Hugging Face 和 GitHub 上公开了用于定量测量人工智能(AI)“元认知”能力的基准测试“FINAL Bench”。
在公开后不久,FINAL Bench 数据集便跃居 Hugging Face 全部数据集中人气排名前列,而基于该数据集构建的“FINAL Bench Leaderboard”则入选了 Hugging Face 评选的“本周 Spaces”。这是一个从全球每周发布的各类人工智能服务中仅选出一部分进行介绍的周度项目,因此有舆论认为,由国内研究团队开发的这一基准测试受到了全球人工智能社区的关注。
元认知是指检查自身思维过程并识别、纠正错误的能力,被视为区分人类专家与初学者的核心能力之一,在通用人工智能(AGI)的研究中也被视为重要要素。然而,现有代表性人工智能评估指标主要聚焦于“最终答案的准确度”,一直被指难以充分测量模型自主识别并修正错误的能力。
FINAL Bench 正是为弥补这一空白而设计。它由数学、科学、哲学、医学、经济、历史等 15 个学科领域的专家级任务构成,每道题目中都包含人工智能模型容易陷入的认知陷阱。其特点在于,并非仅评估答案是否正确,而是将错误识别与修复过程拆分为△过程质量 △元认知准确度 △错误修复 △整合深度 △最终答案等五个维度进行测量。
据研究团队介绍,在应用自我校正结构时,性能提升的相当大一部分体现在“错误修复”指标上。研究团队指出,这表明与知识量或简单准确度相比,识别并修正自身错误的能力,是提升模型性能的重要因素。
论文《FINAL Bench: Measuring Functional Metacognitive Reasoning in LLMs》目前正推进在国际学术会议上发表,评估数据集、评分代码以及评判提示词均已公开,由此使任何研究者和开发者都可以在同一标准下评估自家模型。
Kim Minsik 代表表示:“我们尝试将认知心理学中的元认知理论应用于人工智能评估,从结构上测量模型的自我检查能力”,“今后不仅要看人工智能掌握了多少知识,衡量其是否能够认识并修正自身局限性的评估标准也将愈发重要”。
另一方面,VIDRAFT 是入驻 Seoul AI Hub(서울AI허브)的一家企业,一直在开发并公开各类人工智能模型和服务,在全球人工智能平台排行榜上取得了成绩,在医疗领域人工智能评估等板块中也曾名列前茅。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。