Apei Z 在 [Ollama] Windows下通过zluda加速Ollama运行,7900XTX实践通过 中发帖
本人小白一个,如有错漏请大佬轻喷 😆
进入正题:
运行环境:
Windows 10(22H2)/AMD7900XTX(gfx1100)/ROCm6.2.4(安装其中的Pro版显卡驱动)/ZLUDA3.9.5/Ollama0.11.10
步骤:
安装ROCm6.2.4,实际安装的是HIP SDK6.2.4,默认安装路径:C:\Program Files\AMD\ROCm\6.2。(6.4.2版未测试,有兴趣测试的可以告知下结果 😊)。
下载ZLUDA并解压到任意非中文路径,并在系统环境PATH中添加该路径,建议置顶。
注意把HIP SDK extension也一起下载并解压到path/to/AMD/ROCm/6.2,以启用cuBLASLt/cuDNN。
检查系统环境是否有"HIP_PATH=C:\Program Files\AMD\ROCm\6.2",如果没有的话手动添加。
下...