0726 在公司AI服务器马上开始部署,彦祖们帮忙参谋参谋. 中发帖ps:(本来被告知是8块H20 ,结果昨天发现是A10. emmmm… 其实最早看合同是4090的,暂且略过.) 基于8块A10 192G的显存.目前暂定 Ubuntu 22.04 + Docker + vLLM + Qwen3.5-122B (MoE) INT4 . 1、请问vLLM 是否有必要替换成 SGLang. 2、有没有需要注意的事项,雷点. :tieba_114:

0726 在公司AI服务器马上开始部署,彦祖们帮忙参谋参谋. 中发帖

ps:(本来被告知是8块H20 ,结果昨天发现是A10. emmmm… 其实最早看合同是4090的,暂且略过.) 
基于8块A10 192G的显存.目前暂定 Ubuntu 22.04 + Docker + vLLM + Qwen3.5-122B (MoE) INT4 . 
1、请问vLLM 是否有必要替换成 SGLang. 
2、有没有需要注意的事项,雷点.   :tieba_114: