亮眼成绩单掩盖了实务能力
裁员前,先筛选人机协作的工作
善于管理人的企业,也善于运用AI
自问世以来,人工智能(AI)的成绩单一直十分亮眼。
去年7月,谷歌DeepMind和OpenAI的模型在国际数学奥林匹克竞赛中取得了相当于金牌水平的成绩。两个月后,OpenAI推出的评测“GDPval”得出的结论是:“在近一半的实际职业任务中,表现达到或超过专家水平。”GDPval是一项测试,旨在通过涵盖美国国内生产总值(GDP)贡献较大的9个行业、44种职业的代表性工作,衡量AI的执行能力。
然而,美国半导体与AI分析机构SemiAnalysis于本月2日公布的新评测“GDPx”,成绩单却大不相同。Anthropic、谷歌和OpenAI引以为傲的顶级模型都参加了评测。每个模型可以针对每项任务尝试三次。完成任务得100分,未能完成则得0分。评测共设11个科目,先计算各科平均分,再对这些平均分求平均,得出最终分数。结果,Anthropic模型得分为12分,谷歌为10.9分,OpenAI为9.6分,远低于满分100分。
差距为何如此之大?据SemiAnalysis介绍,GDPx的设计更接近实务任务,而非理论测试。GDPx将AI置于复杂的真实工作场景中,让它们从线索入手,自行查找信息。评测方与14家各领域专业初创企业合作,围绕半导体设计、生物学、金融、法律,以及以数学模型进行投资的量化交易等11个科目设计了206项任务,并为每项任务搭建了类似真实工作场所的环境。金融领域的任务以真实交易为基础,具体涉及一笔交易:私募股权基金收购一家家族经营的糕点企业约62%的股权,并根据经营业绩追加支付款项。多个模型共尝试了25次,却没有一次成功完成任务。其中15次,模型错误地将交易成功后企业应支付给投资银行的成功费归类为企业必须偿还的债务,尽管收购协议明确写着“应将这笔费用作为交易成本单独处理,而非债务”。还有17次,模型把支付给从未工作过哪怕一小时的家族成员的薪酬,认作企业运营费用。
考试题目会包含解题所需的全部信息,而且答案只有一个。但实际工作并非如此。人们必须从数千份文件中自行判断哪些信息重要,还要预判交易对手会采取什么行动。此次评测揭示的AI弱点恰恰在于此。尤其是,AI判断信息是否可信时,关注的不是哪份文件才是最终依据,而是哪份文件上的数字写得更清楚,这正是它失误的原因。这就像是比起双方已经签署的合同,更相信咨询公司制作的旧汇总表。换言之,经验丰富的会计师会从工资单中发现可疑的一行,并首先确认哪份文件具有法律效力。AI目前还不具备这种洞察力。
当然,不能认为评测分数就完全反映了AI的性能。AI也有明显优势,在评测中的数学等部分任务上展现了惊人的解决能力。归根结底,问题在于如何运用AI。OpenAI创始成员Andrej Karpathy将AI称为“锯齿状智能”(Jagged Intelligence),意指AI擅长和不擅长的事情泾渭分明。这被视为一条重要启示:不应全盘信任或彻底抛弃AI,而应有选择地加以运用。这是企业应该牢记的教训。
AI已经承担了许多工作,未来还将接手更多工作,因此就判断要减少招聘或裁员,现在还为时过早。首先应对工作进行筛选,辨别哪些交给AI、哪些由人来做、哪些需要人机协作。之后,应围绕由人承担的工作拓展并重新设计岗位,也应据此制定人才培养计划。AI可以承担简单任务,从而为人腾出精力。企业应利用这一点,让员工专注于提升工作执行能力,并培养或发掘能够展现AI所不具备的洞察力的人才。最终,善于管理人的企业,也最能善用AI。这一点应当铭记。
作家、AI咨询负责人 Park Jongseong
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。