Loop (@looplj) 在 [开源] AI 网关 AxonHub 发布 v0.5.0 ,支持自适应负载均衡 中发帖
前文见:分享自己开源的一个肝了一段时间的 AI 网关项目
项目地址: GitHub - looplj/axonhub: AxonHub is a modern AI gateway system that provides a unified OpenAI, Anthropic, and AI SDK compatible API
欢迎大家试用反馈,觉得有用的话,欢迎点个✨。
本次主要更新
支持自适应负载均衡,会综合考虑渠道的优先级,失败率,请求次数,连接数等因素计算出优先级;也支持同一个 trace 内尽量使用同一个 channel。
工作流程可以参考如下动画(L 站好像不支持动画,需要点链接)
https://raw.githubusercontent.com/looplj/axonhub/refs/heads/unstable/internal/server/chat/...