最近刚好在测试 pro 6000 96G 的性能，没有 nvlink 和 nvswitch 所以只跑 TP EP 
spec: NVIDIA RTX PRO 6000 Blackwell Server Edition Datasheet 
cuda 13, 驱动 580，模型选的 Qwen3 和 Llama-3.3-70B 
稠密 Qwen3-32B 
 [image] 
稠密 Llama-3.3-70B 
 [image] 
稠密 Llama-3.3-70B-FP8 也能单卡跑 
 [image] 
Moe Qwen3-30B-A3B-Instruct-2507 模型大小可以满足单卡需求 
 [image] 
Moe Qwen3-235B-A22B-FP8 
 [image] 
Qwen3-235B-A22B 没有测 bf16 
总结就是超乎想象，新一代单机顶级推理卡，这玩意甚至有4个编...