莱克 (@jejwester)6000+块昇腾NPU集群上完成了7180亿(718B)参数MoE模型的长期稳定训练 中发帖

[image] 
“华为盘古团队(包含诺亚方舟实验室、华为云等)基于昇腾国产算力平台 ,一举攻破了负载均衡难、通信开销大、训练效率低等等训练万亿参数大模型所有的挑战。 6000+块昇腾NPU集群上完成了7180亿(718B)参数MoE模型 的长期稳定训练,并通过多项突破性系统优化技术实现了显著性能提升。这些创新大幅提高了训练效率,支撑了行业顶尖水平模型的开发!”
这应该就是之前说的华为盘古大模型完全体吧!