@redhatcat 在 谁才是8卡H200服务器的终极归宿,GLM-5.1-FP8 vs Kimi-2.6 vs ... ? 中发帖
目前有一台闲置 H200(显存141Gb)*8 的服务器,想部署本地模型体验一波,目前考虑的有2个,GLM-5.1-FP8和Kimi-2.6,有佬深度使用过哪个更强一些吗,或者还有其他模型推荐吗
模型
架构
专家数
参数量和激活
模型权重
HuggingFace 链接
Kimi K2.6
MoE
384
约 1T 总参 / 32B 激活
595GB
moonshotai/Kimi-K2.6
GLM-5.1-FP8
MoE
约 256
约 744B 总参 / 约 40B 激活
756GB
zai-org/GLM-5.1-FP8