[image] 
本地大模型推理的吐字速度主要依赖于显存/统一内存的带宽，有需要的小伙伴可以参考。