在MWC上海2026上公开
华为成功将长文本人工智能(AI)推理在商用网络中的令牌处理量提升至372%,成为中国通信行业首家实现这一突破的企业。
华为29日表示,在本月24日于中国上海举行的“MWC上海2026”上,公司与中国移动湖北联合公开了这一验证成果。
此次解决方案基于华为OceanStor A800存储、Ascend A3 SuperPod以及统一缓存管理器(Unified Cache Management,UCM)。华为称,这为高效部署AI算力服务奠定了关键技术基础。
随着AI应用转向以AI助手为中心,代码生成和多轮对话等处理长上下文的长文本场景不断增加,而传统内存容量有限一直被视为数据处理的瓶颈。为解决这一问题,华为引入利用外部高性能存储的UCM,并实现了拍字节(PB)级键值缓存。
此次验证在中国移动湖北的商用网络环境中进行,针对MiniMax M2.5和GLM 5.1等主要模型,模拟了从8K到190K令牌的长文本输入。
验证结果显示,在GLM 5.1模型中,首令牌生成时间(Time To First Token,TTFT)最多缩短93%,每秒令牌数(Tokens Per Second,TPS)最高提升372%。MiniMax M2.5模型在128K环境下的TPS也提升至78%。
华为全球数据存储营销与解决方案销售部门总裁Michael Chu表示:“AI推理加速解决方案不仅大幅降低TTFT,也有助于减少令牌成本,支持通信运营商构建高效且绿色环保的AI算力基础设施。”
本报道由人工智能(AI)翻译技术生成。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。