“Solar Open公开‘From Scratch’模特…将强力应对虚假事实”
参与政府推进的“自主人工智能(AI)基础模型”项目的Upstage召开公开验证会,全面否认其自主AI模型“Solar-Open-100B(Solar Open)”复制了中国企业大语言模型(LLM)的相关质疑。
Upstage代表Kim Seonghun于2日下午在首尔江南区办公楼举行的验证会上表示:“所谓Solar Open是复制中国模型后进行微调的产物,这一主张与事实不符。”
Kim代表强调称:“我们通过政府资助项目所获得的图形处理器(GPU),以从零开始(from scratch)的方式对Solar Open进行了训练。”所谓从零开始,是指从头直接构建人工智能模型的方式。
首先,Kim代表表示,以“LayerNorm”相似性为依据,指称其重复使用其他模型权重的说法,只是统计上的错觉。因为出现LayerNorm相似性的区段仅占模型整体的大约0.0004%。LayerNorm是指对模型某一特定层内部特征计算均值和方差,并利用该结果对激活值进行归一化(标准化)。
他还强调,用于判断LayerNorm相似性的“余弦相似度”本身也不是准确的比较标准。余弦相似度只是比较向量方向的简单指标,而语言模型的LayerNorm在结构和特性上本就具有相似性,因此模型之间出现较高的相似度反而是自然现象。Kim代表指出,这是“就像把两本不同的英语词典摊开来,然后指责词典内容相似一样”。
Upstage补充称,使用能够通过归一化反映模型特性的“皮尔逊相关系数”重新分析后发现,Solar Open与其他模型之间的模式并不一致。
对于被指与特定模型在结构和代码上相似的质疑,他也予以反驳,称与事实不符。主要开源大语言模型开发企业并不会对外公开训练用代码,因此本身无法接触到的训练代码不可能被拿来重复使用开发模型。
Kim代表表示:“我们欢迎就意见进行健康的讨论,但像这样将虚假事实以断言方式传播的行为,严重损害了正为跻身全球人工智能三强全力以赴的Upstage以及政府努力的意义。”他还称:“今后Upstage也将以透明的技术公开为基础,证明全球顶尖水平的技术实力,并为扩展国内人工智能生态系统而努力。”
围绕Upstage的人工智能模型涉嫌抄袭的质疑于前一日被提出。Cyonic AI首席执行官(CEO)Go Seokhyeon前一日在其社交媒体上表示:“在投入国民税金的项目中,提交的模型被推定为复制中国模型后进行微调的结果,这是非常令人遗憾的事情。”他主张Solar Open是从中国企业Zhipu AI的“GLM-4.5-Air”衍生而来。
Go代表上传的报告包含了对Solar Open和GLM-4.5-Air权重结构的分析内容。报告对构成两款模型的参数相似度进行了测量,并称在部分层中发现了决定性的相似度。不过,该报告目前已被删除。
Go代表随后在追加发布的帖子中表示:“我们确认,两款被比较模型的Token嵌入实际上具有几乎相同的分布”,“这同样是因为GLM-4.5-Air和Solar Open在模型结构和训练代码上几乎相同,才会呈现相同分布。”他还称:“可以判断,Solar Open大部分直接采用了GLM-4.5-Air模型的训练代码”,“当然,在人工智能研究过程中,这种做法本身并不罕见,但在这种情况下,一般从一开始就会公开来源。”
此前,Upstage已于上月30日在自主AI基础模型项目第一次发布会上公开了Solar Open。该模型的参数高达1000亿个(100B),参数规模庞大,因此在高性能推理方面具有优势。Upstage是在5个精英团队中唯一仅由初创企业构成联合体的团队。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。