专注于基于视频理解的多模态人工智能(AI)技术开发的初创企业Twelve Labs于2日表示,已正式发布下一代视频AI模型“Marengo 3.0”。


据介绍,这款新产品不仅仅是“看”视频,而是能够综合理解视频中场景的文本、语音、动作以及情境脉络,是一款下一代视频基础模型(VFM,Video Foundation Model),也是Twelve Labs迄今为止功能最强大的模型。


从事基于视频理解的多模态人工智能技术开发的初创企业 Twelvelabs 日前表示,已于2日正式推出下一代视频人工智能模型 Marengo 3.0。Twelvelabs 提供

从事基于视频理解的多模态人工智能技术开发的初创企业 Twelvelabs 日前表示,已于2日正式推出下一代视频人工智能模型 Marengo 3.0。Twelvelabs 提供

View original image

Marengo 3.0能够将视频中的台词与动作关联起来进行解析,实现接近人类水平的视频理解能力。该模型还首次在业内引入了可同时检索图像与文本的复合图像搜索功能,以及可将人物或产品单独注册后进行检索的专有名词搜索功能。


该模型支持36种语言。通过模型测试,公司还确认了可将存储成本降低50%、索引速度提升2倍等效果。


Marengo 3.0基于为视频理解从零设计的原生基础结构,从时间和空间两个维度对整段视频进行解析,从而自然把握不同场景之间的连贯性与上下文。尤其是在体育、媒体、娱乐、广告等高难度内容上的理解能力得到强化,在公共、安全等视频分析场景中也展现出较高的准确度。


Marengo 3.0可应用于各类产业现场。在职业体育领域,可即时检索并定位特定球员的得分画面或关键表现,用于制作集锦。在广播领域,可将特定名人的面孔注册为专有名词,在海量视频中于数秒内找到其进行特定行为的画面。在公共安全领域,可在闭路电视(CCTV)视频中快速找到所需画面。


Twelve Labs代表Lee Jaesung表示:“全球90%的数字数据都是视频,由人力直接分析耗时过长,且以既有技术很难全面掌握,因此大部分视频数据一直未能得到有效利用。Marengo 3.0是一款彻底突破以往视频理解技术局限的模型,将为企业和开发者树立与以往完全不同的创新标准。”



亚马逊云服务(AWS)AI基础设施部门副总裁Nishant Mehta表示:“继Marengo和Pegasus模型在Amazon Bedrock上取得巨大成果之后,Marengo 3.0有望成为需要世界顶级视频理解能力的客户的最佳解决方案。”


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点