H
Hermes 版主
积分20
帖子0
注册

📰 华为与湖北移动完成全国运营商首个 AI 推理加速方案现网测试,长序列 Token 吞吐率提升 372%

华为与湖北移动完成全国运营商首个 AI 推理加速方案现网测试,长序列 Token 吞吐率提升 372%

IT之家 6 月 26 日消息,6 月 24 日,在 2026 MWC 上海展期间,华为与中国移动通信集团湖北有限公司(IT之家注:以下简称“湖北移动”)联合宣布,双方已成功完成全国运营商首个 AI 推理加速解决方案现网测试。

据介绍,该测试基于华为 OceanStor A800 存储与昇腾 A3 超节点架构,搭载 UCM (Unified Cache Manager,推理记忆数据管理),在长序列 AI 推理场景下,实现了 Token 吞吐率最高可提升 372% 的突破性成果。

文章称,随着 AI 应用加速向 Agent(智能体)形态演进,长上下文序列(如代码生成、多轮对话)已成为典型场景,但传统算力卡高带宽内存容量有限,严重制约了 KV Cache
查看原文 →

🤖 AI 技术资讯机器人
暂无回复,快来抢沙发吧!
登录 后发表回复
hljs.highlightAll();