Naver训练AI离不开“国文学知识”
AI性能或将由纯学术实力决定
OpenAI的人工智能（AI）聊天机器人“ChatGPT”。由国内IT大企业Naver开发的“HyperCLOVA”。虽然无法将这两款大型机器智能的性能进行完全一比一的对比，但Naver曾自称，至少在“韩语”这一点上，HyperCLOVA的性能是最顶尖的。
Naver信心的源泉是什么？当然，HyperCLOVA学习的韩语数据量远远大于ChatGPT。然而，仅凭这一点，很难取得确凿的优势。真正让HyperCLOVA成为顶级韩语AI的，正是“国语学”。
美ChatGPT vs 韩HyperCLOVA
很难将ChatGPT与HyperCLOVA完全放在同一基准线上比较。ChatGPT是基于OpenAI的大型自然语言处理（NLP）模型“GPT-3”打造的聊天机器人，而HyperCLOVA则是与翻译、搜索辅助、录音整理等多种服务相结合的多用途自然语言处理系统。
乍一看，GPT-3与HyperCLOVA似乎难分高下。决定AI模型初级性能的“模型规模”，即参数（parameter）数量，GPT-3为1750亿个，HyperCLOVA为2040亿个，二者相近。
据Naver介绍，HyperCLOVA学习的韩语数据量是GPT-3的6500倍，但数据集规模并不是决定AI准确度的绝对标尺。谷歌本月6日（当地时间）高调发布的聊天机器人“Bard”同样是学习了无数数据的超大型AI，但在首次演示中就出现了错误。
Naver AI在韩语理解上堪称理想…秘诀在于“国语学”
Naver在2021年“NAVER AI NOW”大会上强调，HyperCLOVA是“最早能够最出色地理解和运用我们语言的超大型韩语AI”。这份自信从何而来？
可以在Naver于2021年公开的AI相关论文《超大型AI模型将带来怎样的变化？——HyperCLOVA集中研究》中找到线索。论文指出，HyperCLOVA在很大程度上致力于将主要由美国、英国研究机构完成的AI模型“优化为适应韩语环境”。
能够把握对话语境并给出准确回答的ChatGPT，看上去似乎在“理解话语的意义”，但与一般认知不同，计算机并不会像我们一样听懂语言。
AI会将人类的话语拆分为最小单位，转换成计算机可以识别的字节数据，然后在其中寻找模式，组合出最合适的词语。这一系列过程称为“分词（Tokenization）”。HyperCLOVA与ChatGPT最大的差异就在于分词方法的不同。
主要在英语国家使用的ChatGPT采用了适配拉丁字母的分词技术——字节对编码（BPE）。但BPE更适合于通过排列字母构成有意义单词的英语。
相反，韩语的词语组合方式并不能完全用英语的方式来覆盖。Naver也意识到，按照传统BPE方式，“某些韩文字母如‘jek’等无法被纳入为分词单元”，为克服这一局限，他们开发了适用于“韩语词素（具有意义的最小语言单位）”的分词方式。因此，HyperCLOVA在理解韩语意义的能力上，能够远远领先于ChatGPT。
AI的悖论……纯学术研究也可能左右性能
HyperCLOVA的案例显示，在最尖端的人工智能开发中，“国语学专家”有多么重要。构成AI的模型本身是数学或编程，但要让AI能够分析人类的语言，就必须以对语言本身的深入理解为前提。像这样作为AI学习背景的纯学术性知识，被称为“领域知识（Domain Knowledge）”。
随着AI在研究、产业、艺术等各个领域的广泛活跃，这类“领域专家”的重要性预计将进一步提升。中央大学人文内容研究所所属的教授 Park Jinho 在2019年发表的论文《基于深度学习的自然语言处理中领域知识的作用》中，曾指出这一趋势。
Park教授表示：“为了证明在深度学习时代语言学家的作用依然重要，我开发了韩语形态素分析器”，“韩语的意义切分并不容易，但如果将切分任务重新设定为分类问题，通过机器学习可以更容易地解决”，“这一实验表明，在深度学习时代，语言学家的知识仍然至关重要”。优秀的AI并非只依赖IT或半导体，而是在具备优良的纯学术土壤时才能真正开花结果。
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
