开发下一代“全能多模态”AI…Naver最快本月公布
整合全部信息进行学习与推理
期待生成式AI迎来转折点
Naver已经基本完成名为“omni-modal”的下一代人工智能技术开发,该技术能够同时学习和推理文本、图像和语音等所有信息,而不仅仅是分别理解各类数据,计划最早于本月末对外公开。联合通讯社提供
View original imageNaver已经事实上完成了下一代人工智能(AI)技术“全模态(omni‑modal)”的开发,该技术不仅能分别理解文本、图像、语音,还能一次性学习并推理所有信息。与将图像或语音与单词相连接的“多模态(multi‑modal)”不同,全模态的特点是大幅提升了理解的速度和广度。业内评价认为,如果在本月末对外发布,有望成为改变生成式AI结构本身的转折点。
据19日信息通信技术(ICT)业界消息,Naver正以自家AI平台“HyperCLOVA X”为基础,准备推出新的生成式AI模型。其核心不再是将文本、图像、语音分别处理,而是在学习阶段起就将不同信息进行融合理解的“全模态性(omni modality)”结构。
在韩国国内AI业界,多模态技术竞争已经全面展开。包括NC AI在内的企业,正通过将文本、语音、图像、动作等多种数据结合,用于内容制作的多模态AI上取得成果。其方式是先分别精细处理多种模态,再将其连接起来,优点是可以快速应用到实际服务中。
Naver所强调的全模态,与上述多模态的指向不同。如果说多模态是“善于将不同信息进行结合的技术”,那么全模态则是从学习阶段起,就让文本、图像、语音、视频在一个统一的感知体系中被同时理解的结构。借此可以对情境、语境乃至环境作出综合判断,是其一大特点。因此,业界评价认为,此次模型不仅仅是对HyperCLOVA X功能的扩展,而是对信息处理方式本身进行了重新设计。
全模态技术能够同时理解图像、语音、视频等多样信息,在这一点上更接近人类的认知方式。以往以语言为中心的AI服务,其性能很大程度上取决于“问题提得有多好”,而全模态即便在提问不够精确的情况下,也能综合周边语境及视觉、听觉信息来把握用户意图。
例如,不仅学习韩语文本,还同时学习韩国街景、K‑pop艺人、流行时尚等各类图像数据,就可以实现一个对韩国社会与文化有深度理解的AI模型。由于能立体地观察并学习用户,使用得越多,服务满意度就越有望提升。
Naver计划首先推出并非超大规模、而是轻量化规模的全模态模型。在稳定验证新的开发方法论之后,再通过投入先进图形处理器(GPU)和数据,分阶段扩展模型规模。据悉,新模型名称尚未最终确定。
这一发展方向也在政府推进的“自主AI基础模型”项目中得到具体化。作为该项目5家主导企业之一,Naver Cloud正将Naver的语言·语音基础多模态技术与视频AI专业企业Twelve Labs的技术相结合,开发“全模态基础模型(Omni Foundation Model)”。
Naver Cloud联合体计划以全模态基础模型为基础,提供任何人都能轻松体验的AI服务。为此,将通过AI智能体(AI Agent)市场平台,支持个人和企业直接开发、注册、流通AI智能体。方案中还包括:以构建主权AI的经验为基础,打造K‑AI全球出口模型,同时将轻量化、推理特化模型以开源形式公开,以扩大其可用性。
在海外,以全模态概念为旗号的AI模型已经出现。OpenAI去年推出的GPT‑4o(Omni)是一种在单一模型中实时处理文本、图像、语音的生成式AI。它不再像以往那样分别经过语音识别、图像处理、语言模型,而是在一个模型体系内进行一体化处理,其特点是能够实现自然的交互。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。