Lee Jack (@Lee_Jack1) 在 我也是用上H100的人啦 中发帖
http://hpaste.spiritlhl.net/code/E6LnwH.txt
[image]
[image]
发现单个 h100 用ollama跑不动deepseek-coder 236b版本的，现在大模型行业真卷，提供模型服务应该得用不少卡吧
单卡跑qwen2.5 72b感觉速度也是一般般
[image]