机械师 (@JiXieSHi) 在 本地api动态负载路由 中发帖
本地api动态负载路由
高性能的本地 API 路由网关,专为 AI 服务(OpenAI、Anthropic、Gemini 等)设计,支持多模型、多 Base URL、多 API Key 的动态管理和负载均衡。
应用效果
[image]
🎯 核心功能
功能
说明
多模型路由
支持正则匹配、前缀匹配、精确匹配、通配符四种模式
多端点负载均衡
每个模型可配置多个 Base URL,支持加权轮询
多 Key 管理
每个端点可配置多个 API Key,自动轮询和故障切换
自动故障转移
Key 失败后自动切换到下一个可用 Key,请求不断
Key 冷却恢复
失败 Key 自动进入冷却期(可配置),到期自动恢复
模型重定向
支持将请求重定向到另一个模型配置(可链式)
配置文件热加载
修改 config.yaml 自动重新加载,无需重启
管理接口
/adm...