Rui-nnovation (@hengrrr) 在 大模型一直回答 GGGGGGGG 中发帖
尝试自己部署 deepseek-v2.5-1210-Q2_K_L
开发环境:Ubuntu 22.04.3 LTS, ollama version is 0.4.0
[image]
[image]
网上找到了类似的问题出现在 qwen 身上:
按照他们的方式, 设置环境变量 OLLAMA_FLASH_ATTENTION=True 并重启 Ollama,并没有什么用,有没有佬遇到过类似的问题,如何解决呢