Galaxy HsGLM并发极限 中发帖

如题,本人采用Rust + Tokio + Axum + Reqwest重构了balancer和测试器,经过测试,发现bigmodel.cn的GLM4.5并发极限约如图: 
[image]
随着并发级别升高,延迟显著提升,我觉得可以认为已经触发系统排队。
我今天心情非常不错,因为得知第一次裸考的六级居然有550+。因此我决定维持一个支持高并发的公益站来回馈社区,报答这份运气。晚上我找台正经机器部署下,供佬友使用。需要的佬友可以回复一下,我来判断一下分配资源的多少。需要其他模型(开源的)也可以说一下,我如果有资源会一并上线。
我还在想有没有必要开源一下负载均衡。看各位佬友普遍仍采用python构建负载均衡,我想说很多时候截断正是由此引起。python原生支持不了太高并发,还有各种奇妙超时问题,实测使用python asyncio+fastapi做的负载均衡并发比这个低一半左右,而平均...