xiniah 在 OpenWebUI的响应速度竟然与外部模型有关 中发帖
话说今天突然遇到 OpenWebUI 输出需要 10s + 以上,
[image]
去看 newapi 后台首字也才零点几秒,也没有出现渠道重试。然后又去渠道提供商那里看,也是首字时间很低。
[image]
接下来就是漫漫的 DEBUG 之旅…
1. 网络
首先看浏览器的开发者工具发现 **/completions** 的请求等待时间极长
[image]
然后用 curl 测试了以下几个内容
本地 -> 服务器 0.5s
服务器 -> 供应商 0.5s
本地 - > 供应商 0.5s
都没出现问题… 说明不是网络出现的问题
2. 日志
通过 1panel 的容器日志查看,我观察了生成对话时日志的反应,发现在发送对话请求后,日志会在这里卡一会(下图的红色箭头)
[image]
难道是获取模型时比较慢?
我又在 newapi 中将它对应 key 的模型限制为只...