TonyWuSheep (@TonyWu2333)想做一个模型自动路由的工具 中发帖

不同大厂也有类似的模型路由工具,但一般只限于一部分模型(比如字节的auto),我想做一个可以覆盖市面大部分主流模型的工具并平衡模型的成本,响应速度和回答质量。并且在不同使用场景下自动调用合适的模型。大家有什么建议吗?