36氪获悉,6月30日,文心4.5系列模型正式开源,涵盖激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型。海光DCU展开文心4.5系列模型的深度技术合作,基于飞桨深度学习框架进行高效训练、推理和部署的适配工作。据了解,海光DCU支撑文心4.5预训练的模型FLOPs利用率(MFU)达47%。
海光DCU展开文心系列模型的深度技术合作
未经允许不得转载:donews官方支持 » 海光DCU展开文心系列模型的深度技术合作
36氪获悉,6月30日,文心4.5系列模型正式开源,涵盖激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型。海光DCU展开文心4.5系列模型的深度技术合作,基于飞桨深度学习框架进行高效训练、推理和部署的适配工作。据了解,海光DCU支撑文心4.5预训练的模型FLOPs利用率(MFU)达47%。