[image] 
双卡nvidia a6000 48g，没有nvlink，每张卡分别部署了一套qwen 3.8f q4。 
让astra自己写了个负载均衡的管理系统，速度不错啊。 
希望后续能跟进别的模型 🥰。