半杯无糖 (@passerby) 在 有关类似one-api软件模型管理形式的思考 中发帖
最近很多中转站的claude都不太稳定,导致我自己的oneapi渠道也不太稳定
于是衍生出了这个贴子:
现在的oneapi类的软件都是用渠道去管理模型,一个渠道被禁用,那么这个渠道的所有模型都不能用。
这个策略在面对各种官方渠道时可能是有效的(刚刚我就碰到了谷歌官方只有1.5-flash用不了的情况),但是现在很多三方站点都是各种套娃,上层上面还有上层,那么用渠道去管理模型就不是很合适了,oneapi里测试一个渠道的是该渠道里的一个模型,它不能用意味着这个渠道直接被禁用,即便该渠道内的其他模型也可能是可用的。
那么是否可以用模型来管理渠道,一个模型下面有多种渠道,一个模型的某个渠道失效那么我们禁用该模型下面的的这个渠道就行,这不影响这个渠道底下其他模型的调用,从而提高我们api整体对外的可用性