喵喵喵丶喵星人 (@yangwj)【喵喵公益站】新增网关处理空回复等功能 中发帖

[截屏2026-06-30 17.39.53] 
增加了灰度测试(先插入了50个key进行测试),参考大佬叫我小杨同学的帖子,增加了英伟达网关
网关功能:


把 NVIDIA Key 统一接到一个网关里

50 个 NVIDIA Key 不再直接分散在 New API 渠道里跑。
现在通过渠道 英伟达网关灰度 走 nvidia-api-gateway。
New API 只看到一个灰度渠道,后面由网关负责调度这些 NVIDIA Key。



降低单 Key 并发,减少空回复/卡死概率

单 Key 并发降到 1。
关闭代理池,直接用当前香港服务器连 NVIDIA。
保留重试机制:失败会换 Key/重试,避免某个 Key 或某次上游异常直接把请求打死。



拉长等待时间,适配慢模型

请求超时、流式空闲超时都拉长到 1800 秒。
首包等待是 45 秒。
New API ...