PPKun 在 [开源] Berry API - 负载均衡AI网关 中发帖
项目地址:
简介
面对多个api供应商,创建多个配置在chatbot里显得杂乱麻烦,使用new-api统一又有点过于复杂和庞大,因此开发berry-api。
berry-api可以对多个渠道的api进行负载均衡,并且可以手动映射模型到指定名字
为了轻量和简洁,只支持了OpenAI格式的后端和请求(毕竟大部分用的还是new-api的上游)
代码超一半使用augment编写
是否支持thinking不太清楚,但是因为是直接转发的,并没有修改请求内容,应该决定于上游
并没有测试过,目前自己用着还行,也没有实际压测过
其实就是自己写着玩玩的小项目 😂