@NeoJ 在 SGlang A2x4 部署 DeepSeekV4 Pro 交流帖【后续放测试报告。】 中发帖
Sglang vs VLLM 吞吐差异。
Sglang 针对910b2集群模型支持情况,目前看到的是W8A8类型,好像不支持w4a8。
Sglang vs VLLM 吞吐差异。
Sglang 针对910b2集群模型支持情况,目前看到的是W8A8类型,好像不支持w4a8。