lost1984 在 AMD ollama疑问 中发帖
Debian 下 amd5500u核显,运行ollama,ollama ps显示模型完全加载到GPU了,但是vram占用低gtt占用高。这个正常吗?如果不正常如何调试和优化?
现在速度太慢了,ds:7b,3t/s
折腾了两周,都没有改善。
如果用lm stdio,速度能到7t/s