半夏 (@Scyu) 在 请教关于newapi模型加载的一点疑问 中发帖
众所周知,openwebui每次都要重新加载模型,而且如果某个渠道出问题,轻则卡半天重则卡死。
我在openwebui前面套了一层newapi,方便管理各个渠道。
我现在的疑问是, OpenWebUI 重新加载模型时如果通过 newapi中转,那加载模型的流程是怎样的?
我理解的第一种方式是
OpenWebUI 每次进入时,向 newapi 发起请求,要求加载模型。
newapi 接收到请求后,分别向各个渠道的 API 请求加载模型。
newapi 将各个渠道的模型加载结果整合后,返回给 OpenWebUI。
我猜测的第二种方式是Newapi有缓存机制
OpenWebUI 每次进入时,直接在 newapi 中加载模型。
newapi 已经预先整合了各个渠道的模型,直接返回给 OpenWebUI。
麻烦知道他工作流程的佬解惑一下。如果是第一种,我就要删掉一些不那么好用的渠道了。...