诸葛村夫 (@Raven)16G内存16GGPU跑Qwen-7B-Instruct怎么样? 中发帖

准备搞一台16G内存16GGPU跑Qwen-7B-Instruct,使用vllm本地布署,不知道性能咋样?