诸葛村夫 (@Raven) 在 16G内存16GGPU跑Qwen-7B-Instruct怎么样？中发帖准备搞一台16G内存16GGPU跑Qwen-7B-Instruct，使用vllm本地布署，不知道性能咋样？

诸葛村夫 (@Raven) 在 16G内存16GGPU跑Qwen-7B-Instruct怎么样？中发帖

准备搞一台16G内存16GGPU跑Qwen-7B-Instruct，使用vllm本地布署，不知道性能咋样？