下午看到了此贴。 
部署要用它的fork：GitHub - PrismML-Eng/llama.cpp: LLM inference in C/C++ · GitHub 
下载q2_0量化版本 
启动命令 
.\llama-server.exe -m G:\models\Ternary-Bonsai-27B\Ternary-Bonsai-27B-Q2_0.gguf --port 8080 --temp 0.7 --top-p 0.95 --top-k 20 -ngl 99 -n 256 -c 16384 -np 1 -cram 0 -fa on -ctk q8_0 -ctv q8_0 --no-mmap

 [image] 
吃掉了7.7G显存 如果是5060 8GB版本的话非常极限，刚刚好。 
[image] 
速度在 40tok/s 27B稠密跑到这个速度其实很可以了。 
效率非常...