你这是违法行为 (@Anano)国产算力里程碑:千卡昇腾910C跑通DeepSeek 1.6万亿模型全参数后训练 中发帖

由深圳河套学院、哈工大(深圳)、深圳市大数据研究院与华为相关团队组成,并协同深智城 AI 算力平台的联合攻关团队,宣布在国产 AI 算力平台上成功跑通 1.6 万亿参数大模型 DeepSeek-V4-Pro 的全参数后训练(Post-training)。 
这是全球第三方机构首次在国产算力平台上完成 1.6 万亿参数规模模型的全参数后训练。
相较于从零开始的预训练(Pre-training),后训练阶段(主要包括监督微调 SFT 与强化学习 RL)侧重于通过高质量指令和人类偏好对齐,教导模型遵循指令并执行特定任务。然而,对于 1.6 万亿参数的 MoE 架构模型而言,全参数后训练依然对底层硬件的显存容量、多卡间通信带宽(如 MoE 路由所触发的全对全通信)以及大规模集群的稳定性有着非常苛刻的要求。联合攻关团队依托超千张芯片规模的华为昇腾 910C 算力集群,通过优化分布式承载与负载均衡策...