@boxjan 在神秘的单机 16 卡 L4 中发帖Ada 架构，不支持 FP4，单卡24G 机器应该是用博通的 PXE88/89系列 PCIE Switch 从 PCIE 5.0 x16一拆二得到的 PCIe 4.0，但是竞争严重，同簇下的 nccl-tests 惨不忍睹，所以，还是只测 TP ，测的没上次多 Qwen3 4B BF16 [image] Qwen3 32B BF16 [image] Qwen3 32B FP8 [image] Qwen3 30B A3B BF16 [image]

@boxjan 在神秘的单机 16 卡 L4 中发帖

Ada 架构，不支持 FP4，单卡24G 
机器应该是用 博通 的 PXE88/89系列 PCIE Switch 从 PCIE 5.0 x16一拆二得到的 PCIe 4.0，但是竞争严重，同簇下的 nccl-tests 惨不忍睹，所以，还是只测 TP ，测的没上次多 
Qwen3 4B BF16 
 [image] 
Qwen3 32B BF16 
 [image] 
Qwen3 32B FP8 
 [image] 
Qwen3 30B A3B BF16 
 [image]