fan9527 在 请教下,接入多个中转api如何监控和做好调用调度 中发帖
我是自己的产品,里面有些功能需要调用gemini、veo、image2这些模型,之前一直用一家,只做了重试没有兜底,后来发现受上游中转站的影响太大了,很容易服务崩掉然后客户叼来,所以现在想多接几个中转渠道
我心里的想法最优方案是最好能监控各个中转的我需要的模型的状态,然后优先连接最优的,直接盲盒请求然后兜底重试对于有些任务来说等待时间太长了
或者有没有佬有更好的办法指点一下,拜谢拜谢