icerex777本地部署个人体验48g显存才开始有能用的体验 中发帖

4090 部署了Qwen3.8 27b Q4量化+kvcache也Q4_0的情况下都不能拉满256k上下文,这100多k的上下文配合上雷霆大思考对话个1-2轮就要压缩了,感觉几乎完全没有体验啊。 48g的话应该能拉到7-800k上下文,感觉应该能有很不错的体验了