首页
产品服务
模型广场
Token工厂
算力市场算力商情行业资讯解决方案有偿资讯商城
注册

华为携手湖北移动完成全国运营商首个AI推理加速测试

发布日期:2026-06-28 来源:ITBear科技资讯作者:ITBear科技资讯浏览:7

华为携手湖北移动完成全国运营商首个AI推理加速测试:性能显著提升

在2026 MWC上海展期间,华为与中国移动通信集团湖北有限公司共同宣布,双方成功完成全国运营商首个AI推理加速解决方案的现网测试。这一突破性成果标志着AI技术在运营商领域的应用迈入新阶段,为智能计算业务的高效部署提供了坚实的技术支撑。

此次测试依托华为OceanStor A800存储系统与昇腾A3超节点架构,结合UCM(Unified Cache Manager,推理记忆数据管理)技术,在长序列AI推理场景中实现了Token吞吐率最高提升372%的显著效果。测试团队在湖北移动现网环境中部署了vLLM-Ascend框架,针对MiniMax M2.5、GLM-5.1等主流大模型,模拟了8K至190K长序列输入场景,全面验证了方案的实际性能。

MiniMax M2.5模型测试结果

在MiniMax M2.5模型测试中,启用UCM技术后,首Token延迟(TTFT)优化幅度达26%至62%,单NPU卡Token输出效率(TPS)显著提升。具体数据显示,64K序列长度下TPS提升58%,128K序列长度下提升78%,验证了方案在不同长度序列下的稳定性与高效性。

GLM-5.1模型测试表现更为突出

GLM-5.1模型的测试结果更为突出,UCM技术带来的加速效果显著增强。TTFT优化幅度达51%至93%,TPS提升范围为56%至372%。其中,64K序列长度下TPS提升313%,128K序列长度下最高提升372%,充分展现了方案在复杂长序列推理场景中的优势。

华为相关负责人表示,测试数据表明,随着上下文长度的增加,AI推理加速方案的优势将进一步放大。该方案有效突破了长序列推理中的KV Cache容量瓶颈,为运营商在大模型推理、智能客服、内容生成、行业智能体等长序列AI业务场景中提供了高效解决方案,有助于提升现网智算资源的利用率,同时降低长上下文推理带来的性能压力。

本文转载自ITBear科技资讯, 作者:ITBear科技资讯, 原文标题:《 华为携手湖北移动完成全国运营商首个AI推理加速测试 》, 原文链接: http://m.itbear.com.cn/html/2026-06/1415554.html。 本平台仅做分享和推荐,不涉及任何商业用途。文章版权归原作者所有。如涉及作品内容、版权和其它问题,请与我们联系,我们将在第一时间删除内容!
本文相关推荐
暂无相关推荐
点击立即订阅