Muse (@preacher) 在 open webui 配置在深思熟虑之后,只是无奈的抉择 中发帖
起初只是有一台 VPS ,后来自部署之后,发现挺适合我。
上手难度小 此贴只是说说的部署OWU 小故事
难点
“文档、联网搜索、语音”,这3个功能说难也难,说简单其实一点也不
寻找解决方案
一、文档
内容提取引擎:
选择了“Tika”,但是没有简体和繁体,需要是自己构建镜像(后续再分享),选择的理由是性能占用小。市面上有更好的提取引擎,佬友们可以多尝试。
嵌入模型引擎
起初尝试过很多,BAAI/bge-m3 sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 intfloat/multilingual-e5-small 之类的模型
最终还是选择 sentence-transformers/static-similarity-mrl-multilingual-v1 ,理由是资源占用小、多语言,比如在5M...