我是用的单卡Pro6000D部署， BF16精度上下文256K，KV缓存FP8精度。token速度很慢啊，大概就是在20token/s。是哪里需要优化吗？还是说权重用量化后的FP8会快一些？精度损失严重吗？ 
我也试过两张Pro6000D部署，速度还是差不多，也是在2-30token/s徘徊。 
或者说佬有更好的部署方法？ 
 [image]