Muse (Lucas) (@preacher)【Lucas备忘录】open webui 使用ollama下载的本地模型 中发帖

演示 (备忘录)

起因:

此前open webui支持用户私人添加api key,让我们能部署在服务器端open webui实现本地使用(伪


背景:


管理员启用直接连接(直接连接允许用户连接自有的 OpenAI 兼容的 API 端点),除了联网模型,还能使用本地模型。


设置:


电脑端ollama设置,在win11/10之中,添加一个环境变量,变量名:OLLAMA_ORIGINS,变量值:https://example.org ,之后重启电脑


open webui 管理员设置,在设置-外部连接-开启直接连接,然后接下来直接在用户侧,设置-外部连接-管理直接连接,添加ollama:http://127.0.0.1:11434/v1,这样就可以了


效果演示


[image]
那么在开启临时会话+本地ollama模型,执行翻译或者其他任务,也是不错的选择。 ...