我想部署一个本地小模型，我有 4*A10（Ampere架构 24GB），之前的是四卡部署 qwen3.8 27B W4A16，然后我本地优化了一下压缩到了 2 卡可用，在claude code 中也能有 100tok/s 左右的输出。现在多出了 2 张卡，想用一张卡来部署一下能用来聊天有人味的小模型。 
最近星火出了 Spark X2.5 1.7B/4B 原生支持 1M 上下文，有点想尝试部署一下试试。 
但是不知道本地单卡部署有什么比较好的有人味的模型，qwen3.8 感觉是编程特化过的，而且输出也不是很快，不是很适合用来聊天。 
不知道这些模型怎么样： 
Qwen3.5-9B 
Gemma 4 12B 
Ministral 3 14B 
Granite 4.2-8B 
MiniCPM5-1B 
都是小模型，不知道好不好用，请问有没有佬友部署过相关的模型？