@bailing_0105请教Qwen3.8模式部署的问题 中发帖

手上有一台服务器,配置如下 
[image]
显卡是4090*2
通过llama.cpp 部署的 Qwen3.8-27B-Uncensored-Q5_K_M.gguf
启动参数为:
ExecStart=/usr/local/bin/llama-server \
-m /home/gebaolei/ollama/qwen3.8/Qwen3.8-27B-Uncensored-Q5_K_M.gguf \
--mmproj /home/gebaolei/ollama/qwen3.8/mmproj-Qwen3.8-27B-Uncensored-f16.gguf \
-a Qwen3.8-27B \
--host 0.0.0.0 \
--port 8888 \
-ngl all \
-np 1 \
-c 262144 \
...