黑格尔 (@kkk2)openwebui联网搜索另一个很卡的原因找到了 中发帖

慢的一个原因是外部模型,要选输出快的,这个用来生成搜索关键词 
[image]
另外一个原因,是他每次交给嵌入模型都是同步操作的,这可以从时间顺序看出来。
[image]
还有就是如果选了重排,模型只能在vps上运行,我甲骨文4c24g输出非常慢,会卡很久。
可以看到cpu爆红了。
[image]
所以要想快,只能用默认的嵌入模型,但是质量就很一般了。