30B级大语言模型从零开始训练
在Hugging Face公开·可自由使用
响应速度快，推理成本低
魁匠团表示，已于21日公开自主研发的30B级大语言模型“Raon-1 Mini”预览版。
该模型是正式发布前推出的版本，已在Hugging Face上以Apache 2.0许可证公开。任何人都可以免费下载并使用该模型，既可用于研究，也可自由应用于商业服务和产品开发。
Raon-1 Mini预览版是一款拥有300亿个参数的大语言模型，从模型设计到从零开始训练，均由魁匠团自行完成。该模型支持英语和韩语。为兼顾高性能与推理效率，魁匠团设计了独创的模型架构。模型将专家混合架构与自主研发的线性注意力技术相结合，在总计300亿个参数中仅激活所需的40亿个，从而降低推理成本。
魁匠团强调，Raon-1 Mini预览版的性能优于海外同等规模的模型，部分指标已接近韩国国内大型模型。魁匠团特别指出，该模型的优势包括自然流畅的韩语对话能力和快速响应速度。此外，它在遵循指令方面也表现出色，能够准确执行格式指定、角色设定等要求。
魁匠团计划通过更新提升Raon-1 Mini的性能。正式版发布时，还将一并公开技术报告，详细介绍模型的训练过程和最终性能。
魁匠团首席人工智能官Lee Kangwook表示：“Raon-1 Mini的公开，体现了魁匠团凭借五年多来积累的人工智能研发能力，独立开发出具有竞争力的语言模型。我们将打造性能更高、成本负担更低、性价比突出的语言模型，拓展人工智能在各行各业的应用。”
本报道由人工智能(AI)翻译技术生成。
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
