@ThisWaySir 在 求佬友推荐海外模型供应商,需要支持国产开源模型 中发帖
佬友们好,最近想给现有的大模型网关补充一到两家境外备用推理供应商,想听听大家的实际使用经验。如果价格和速度更优,也可以作为主线路。
目前通过 LiteLLM 统一管理多家模型服务,已经接入模型原厂 API、第三方图像/视频推理平台以及少量自托管开源模型,也配置了基础的路由和故障切换。
主要需求:
供应商主体或实际推理节点位于中国大陆以外;
支持DeepSeek、GLM 等国产开源模型,覆盖越完整越好;
首字延迟、输出速度和高峰期稳定性较好;
按量付费、没有较高最低消费,适合平时小流量保活、故障时放量;
限流规则、数据留存和模型下线策略明确。
目前初步关注 DeepInfra 和 Fireworks AI,也在考虑 Together AI。聚合平台也可以推荐,不过希望能够看见并固定底层 provider,避免表面上是多供应商,实际仍然共用同一个上游。