ee (@qwe_ewqqq) 在 new-api如何连接vllm本地部署模型服务 中发帖
各位佬好,打扰大家!
我在我本地使用vllm部署了deepseek,以及bge-m3的模型服务。同时还部署了new-api的服务。我打算使用new-api来做中台管理这些模型服务,统一出口。但是new-api怎么连接本地模型的服务呢?有没有佬有相关的经验?还得请佬们多多指点! 🙏