Zyb【选型】希望各位佬能给一些大模型网关的选型推荐 中发帖

最近公司打算部署一些多模态模型,例如千问8B这样的,对部门内部&对外提供一些多模态能力,我的平台只要是调度cv算法用的,本质上就是给算法找到对应的算力卡拉起来,大模型也能拉起来,现在问题是我没有大模型网关,我的需求是能够将多个相同模型的实例对外暴露为一个模型(能够支持一些权重路由、或者别的策略路由),由网关内部完成负载,并且能够兼容业界主流&国内模型的协议,能够将每条调用都记录下来,能够有主账号和子账号的概念(例如我开给A公司,A公司可以给每一个员工限额这样),我目前在看的是one-api,我需要基于one-api进行一些二开,原本打算用new-api,但是他的开源协议是我司不允许使用的,不知道各位佬有没有别的开源项目推荐