斯坦福大学、芝加哥大学等联合研究
出题后由教授评分发现
虚假判例、法理误读、逻辑错误……
“不是竞争对手,而是辅助工具”
人工智能(AI)在与美国法学院合同法教授进行的盲测中取得了超过75%的胜率,因此也有人提出AI或许会取代大学教授的可能性,但现在看来,这一判断仍为时尚早。另有研究结果显示,AI在检索教材中的知识方面或许表现出色,但在高阶法律推理或适用于假设案例的领域,反而会大量生成足以妨碍学习的隐蔽错误答案。韩国法律界对于AI能否取代人类教授同样持怀疑态度,更倾向于强调人类与AI“共存论”。
基于学生真实提问的实验
“AI能否取代答疑时间?(Can AI hold Office Hours?)”
这是斯坦福大学、芝加哥大学、洛约拉大学、威斯康星大学法学院联合研究团队于2026年3月发表论文的标题。结论认为,AI在替代教授回答学生复杂法律问题的面谈答疑时间方面,技术局限仍十分明显。调查显示,它会在看似合理的回答中巧妙夹带致命错误或虚假判例,反而可能妨碍学生学习。
研究团队先让AI学习美国75所以上法学院采用的专利法教材,随后输入185道题目,包括学生真实提出的问题、教材收录的问题以及研究团队命制的问题,并由教授直接评分。
为从多角度检验AI的推理能力,研究团队将问题分为以下类型:▲教材内存在直接答案 ▲需要综合教材内信息 ▲需要推断深层法理及政策含义 ▲适用于假设案例 ▲包含错误前提的诱导错误型 ▲超出教材范围的问题。评测模型使用了ChatGPT、Claude 3.5 Sonnet、NotebookLM共3种。
回答被分为优秀、可接受、不可接受3个等级。其中,“不可接受”是指因错误信息而对学习造成损害的程度。实验结果显示,Claude是唯一获得过半数(56%)“优秀”等级的模型,表现最佳。相较之下,ChatGPT平均每4次就有1次(26%)给出致命错误答案(不可接受),“优秀”回答比例仅为49%。NotebookLM被判定为“不可接受”的比例高达31%,表现最差,“优秀”回答也仅停留在37%左右。
研究团队担忧的一点在于,AI会在流畅的表述中巧妙夹带错误。学生看起来会以为这些是正确答案,但实际评分结果发现了大量致命缺陷,包括▲引用虚假判例(幻觉) ▲误读基础法理 ▲虽然结论正确但推导过程存在逻辑错误 ▲误解问题核心主旨等。
AI与教授是相互补充关系
围绕“AI和人类教授谁更优秀”,韩国法学教育界也在展开积极讨论。此前进行的合同法盲测研究中,教授们以“哪一种回答更有帮助”的“偏好度”为标准,对AI和教授分别作出的回答进行比较评价,结果显示Gemini 2.5 Pro(75.92%)等AI取得压倒性胜利。相比之下,此次专利法研究并非比较评价,而是仅以AI模型为对象,评估其“答案正确性与教学实用性”。
韩国人工智能法学会会长 Choi Gyeongjin 表示:“与其单方面评判AI和人类教授谁更出色,不如需要共存的智慧。创造性洞察应由人类承担,而可缩短时间的简单处理则利用AI,这种协调将变得愈发重要。”他还分析称,共存时代其实已经到来。
人工智能产业法学会会长 Son Hyeongseop 补充称:“不应将AI视为威胁法学教授生存的竞争对手,而应将其认知为有助于得出更优解决方案的辅助工具。”
法律新闻记者 Kim Jisu
※本文内容基于《法律时报》提供的信息。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。