暂时个人玩玩， 
条件有限： 
RTX3090 24G，32G内存。 
使用模型：qwen3.5-27b-heretic 
量化：4bit 
上下文：64000 
GPU卸载：100% 
测试结果 
windows：34token/s，显存占用20-22G左右，内存占用20G左右。 
ubuntu：32token/s，显存占用16-20G左右，内存完全空闲。 
windows忘了截图，这是ubuntu下正在跑的情况： 
 [image] 
[image] 
比较奇怪的是，在ubuntu下我的内存为啥是空闲的， 
在windows下，我的内存几乎占满。 
两者速度差不多，虽然ubuntu少那么一点点，但使用的资源少多了