腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级

36氪获悉,为了进一步满足推理系统对动态业务负载的适应性、核心模块对复杂精度和高性能融合算子的需求,HPC-Ops 推出全新更新开源升级,包含五大关键算子。本次升级在主流推理平台上,有效缓解了Attention长尾延迟、显存搬运开销、跨卡通信等实际工程瓶颈,多项性能指标显著优于现有的开源基线。

赞(0) 打赏
未经允许不得转载:Donews采集站 » 腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级

评论 抢沙发

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫