熊大快跑 (@cuser) 在 云端部署Qwen-3.8-27b 记录 中发帖
配置:
单卡RTX5880 48G显存 32核心 64G内存 (实际就GPU在干活,cpu单核90+,剩下31个核心动都不动)
lallm+投机加速
精度:K16 V16
参考文章: 分享一下关于部署 qwen27b 的最新成果【配置分享】
使用效果(双人使用稳定75+tps):
[image]
单人使用稳定110tps
[image]
当然这里也准备了一份搭建文档,供大家学习(文档是ai生成的哈,但是思路是一步一步试错出来的)
部署教程总结
有什么不对的地方欢迎指正
当然鹈鹕测试少不了:
[鹈鹕]