@chunkBurst记一次解决OpenWebUI卡的飞起的经历 中发帖

前情提要:Openweb ui 你让我陷入疯狂! 
因为使用Openwebui的问题让我开始发癫
当时佬们给了很多的方案,于是我开始尝试各种方法
首先是尝试换用其他应用,例如LobeChat,但是其对权限的隔离不足(毕竟有私有模型需求)
hivechat:没有联网搜索和代码解释器,还得观望
next:没有多用户
/back
然后便是用回: OpenWebUI 😡
尝试用New-api中转:仍然没有解决问题,还是卡顿
然后开始owu+pg的方案:确实解决了很大的性能问题(模型列表(models接口)加载从10+秒变成了2秒,确实比sqlite快了很多)
然后我开始从Nginx和服务器本身开始着手:

开启BBR (我居然忘了开局给海外VPS开BBR属实难绷)

BBR直接让我的速度起飞🚀,延迟降到1s内(models平均760ms)


内容压缩 (6级) + 缓存规则(...