算力核弹!华为昇腾384超节点一图看懂

____simple_html_dom__voku__html_wrapper____>

____simple_html_dom__voku__html_wrapper____>

____simple_html_dom__voku__html_wrapper____>

快科技7月29日消息,在7月26日-7月29日于上海世博展览馆H1-A301举办的WAIC(世界人工智能大会)上,华为昇腾384超节点,即Atlas 900 A3 SuperPoD首次展出,成为备受瞩目的“镇馆之宝”,是业界目前最大规模的超节点。

昇腾384超节点打破了以CPU为中心的冯诺依曼架构,创新提出了对等计算架构,还将总线从服务器内部扩展到整机柜、甚至跨机柜,极大地改变了数据传输和处理的方式。

传统由服务器、存储、网络等设备堆叠而成的集群,在大规模训练时存在资源利用率低、故障频发的问题,严重阻碍AI发展。

而昇腾超节点通过高速总线连接多颗NPU,突破了互联瓶颈,让超节点像一台计算机一样协同工作。

通信带宽飞跃:跨节点通信带宽提升15倍,使得数据传输速度大幅加快。

通信时延骤减:通信时延从2μs降至0.2μs,下降了10倍,减少了数据处理等待时间。

超强互联能力:最大可实现384颗NPU点到点超大带宽互联,并且是业界唯一支持DeepSeek V/R1在一个超节点域内即可完成所有专家并行(EP)方案的产品,也是MoE模型的最佳训练/推理方案,极大提高了模型训练和推理的效率。

昇腾384超节点拥有三大优势:

超大带宽:超节点内任意两个AI处理器之间通信带宽,相较于传统架构提升15倍,超节点内单跳通信时延降低10倍,数据交互更流畅。

超低时延:昇腾超节点支持全局内存统一编址,具备更高效的内存语义通信能力,通过更低时延指令级内存语义通信,可满足大模型训练/推理中的小包通信需求,提升专家网络小包数据传输及离散随机访存通信效率。而且昇腾384超节点是业界唯一突破Decode时延15ms的方案,能满足实时深度思考下的用户体验需求。

超强性能:经过实际测试,在昇腾超节点集群上,LlaMA3等千亿稠密模型训练性能可达传统集群的2.5倍以上;在通信占比更高的Qwen、DeepSeek等多模态、MoE模型上,性能提升更是可以达到3倍以上。

【本文结束】如需转载请务必注明出处:快科技

文章内容举报

赞(0) 打赏
未经允许不得转载:donews官方支持 » 算力核弹!华为昇腾384超节点一图看懂

评论 抢沙发

更好的WordPress主题

支持快讯、专题、百度收录推送、人机验证、多级分类筛选器,适用于垂直站点、科技博客、个人站,扁平化设计、简洁白色、超多功能配置、会员中心、直达链接、文章图片弹窗、自动缩略图等...

联系我们联系我们

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫

登录

找回密码

注册