qinchao zhao 在 模型部署问题咨询 中发帖
我在本地部署了qianwen 7B模型,我正在把我的代码通过切片的方式喂给AI,具体的方法参考了网上的 1. RTX 4060 显存只有 8GB,用了 gradient checkpointing 换速度换显存,现在每次(#`O′喂50片但还是太慢了,有什么好的方法建议吗