tyshine关于大模型本地中转站的一点问题 中发帖

佬们,我们公司本地用vllm部署了大模型,现在想的是部署个中转站来管理,毕竟vllm的api key不能直接给员工用。想要通过中转站来统一管理,我试了下new-api感觉效果不是很理想,有什么中转站可以限制不同人的性能,TPM等的啊?