lamb (@lamb031226) 在 minimaxh3自部署一般设多少step 中发帖
我自部署在了一代910a上面 感觉性能有限 目前性能极限20steps 估计要15分钟左右 我在想有什么方案还能提升速度 有必要去重写算子 推理引擎之类的吗 还是换量化版本
[image]
我自部署在了一代910a上面 感觉性能有限 目前性能极限20steps 估计要15分钟左右 我在想有什么方案还能提升速度 有必要去重写算子 推理引擎之类的吗 还是换量化版本
[image]