Alpha (@Throttle) 在 OpenWebUI 启用 WS 以使响应更流畅 中发帖
原因
OpenWebUI 在未开启 WS 之前,使用的是 Fetch 的 Stream 来拉取回复内容,这个方式存在较多的原因会导致响应的内容是大块流式,而不是字符流式
[image]
解决方式
启用 WebSocket,使得数据能够真正的流式传输,让“每个字”都有独立的数据包
[未命名]
解决步骤
部署 Redis
源代码中,Redis 似乎不是开启 WS 的必要条件,但我并未测试这样的场景,并且,基于 Redis 来处理 WS 会话会更稳定且不易丢失,并适用于多副本部署的情况,所以仍然建议通过 Redis 来管理 WS 会话
# Docker 命令
# 你的密码 替换为真实密码,比如 linuxdo
# /data/redis-data 替换为存储 Redis 数据的路径
docker run -itd --name redis -p 6379:6379 -v /data/...