@PICOPICO【自部署】【2 x B300 270GB显存】尝试自部署deepseek-v4-flash 中发帖

尝试使用2xB300 270GB 使用VLLM框架部署deepseek-v4-flash,给大家分享记录一下日志里的一些关键记录,希望可以帮助有需要的人,我之前上网一直没找到自部署的相关内容,也希望大家和我交流一下 

(Worker_TP0_EP0 pid=1051) INFO 05-15 10:46:30 [gpu_worker.py:440] Available KV cache memory: 134.63 GiB
05/15/26, 6:46:30 PM GMT+8
(Worker_TP0_EP0 pid=1051) INFO 05-15 10:46:30 [gpu_worker.py:455] CUDA graph memory profiling is enabled (default since v0.21.0). The current --gpu-memory-ut...