alhz 在 关于GPT-Load功能的添加 中发帖
GPT-Load 扩展功能说明
感谢 @tbphp 佬的 GPT-Load 项目提供的优秀基础架构!
本文档介绍基于原项目新增的功能特性。
模型自动聚合与智能路由
功能说明
创建聚合分组,包含多个子分组,系统根据请求的模型参数自动路由到对应的子分组,实现智能路由和负载均衡。
核心特性
[image]
模型自动聚合 - 自动汇总所有子分组的模型列表
智能路由 - 根据模型参数自动选择子分组
加权负载均衡 - 多个子分组间按权重分配请求
自动刷新 - 从上游 API 自动获取模型列表
使用场景
多厂商模型统一接入
将 OpenAI、Anthropic、Google 等不同厂商的模型整合到一个聚合分组
请求时自动路由到对应厂商的子分组
多实例负载均衡
创建多个相同模型的实例(如不同区域的 OpenAI 实例)
按权重自动分配请求,实现高可用
新增功能:分组导入导出
功...