随着英伟达进军全球人工智能(AI)个人电脑市场,拥有AI优化技术的Nota正受到关注。
近日,英伟达首席执行官Jensen Huang公布了基于Arm的平台“RTX Spark”,正式加快进军AI个人电脑市场。AI个人电脑是不依赖云服务器、而是在设备本身端侧执行AI运算的新一代计算机。要实现这一点,最大化电力、发热和内存效率的优化技术必不可少。
在这一背景下,Nota的AI优化技术正吸引市场目光。Nota是一家AI优化软件专业企业,致力于帮助在硬件资源受限的环境下也能顺畅实现高性能AI服务。其还于今年3月与全球半导体设计企业Arm签订了AI优化软件供应合同。
此外,Nota还推出了基于异构计算的大语言模型推理优化技术,可在AI个人电脑环境中分工利用中央处理器、图形处理器、神经网络处理器等不同运算设备的优势,借此证明了其技术实力。
Nota在基于英特尔的AI个人电脑上应用了区分图形处理器与神经网络处理器角色的“分离式推理”技术。与单一图形处理器运行相比,每个令牌的能耗减少约32%,生成吞吐量提升12%;与单一神经网络处理器方式相比,首次响应延迟时间缩短约89%,实现了压倒性的AI执行效率。
业内相关人士表示:“在AI个人电脑时代,仅仅把AI模型部署到设备上还远远不够。未来端侧AI市场的核心竞争力,将取决于在有限资源内能将AI运行得多么高效。”
本报道由人工智能(AI)翻译技术生成。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。