white_little2237 (@xiaodi) 在 minicpm-V2.6使用cpu的推理一张图竟然要360秒,纯cpu的推理有没有缩短时间的方法。 中发帖
如标题,时间cpu的推理时间竟然占用那么多,模型再次加载不到5秒,推理却占了255秒。想知道有没有缩短时间的方法。
如标题,时间cpu的推理时间竟然占用那么多,模型再次加载不到5秒,推理却占了255秒。想知道有没有缩短时间的方法。