@frondesce 在 Open WebUI插件:指定每个用户的上下文长度 中发帖
在使用 OWI 的时候遇到不同的人需要分配不同的上下文长度。
比如说有的人不习惯一个问题新开一个话题,而是在同一个话题下一直问,就会导致上下文长度巨大,每次消耗的 token 数都是十几万。
之前使用官方的函数 Context Clip Filter 来限定上下文为 8 条信息。但对于熟练使用 AI 的人来说可能不太够。但这就是官方函数的局限性了。
因此开发了新的函数,原意是想根据不同的权限组来设置不同的 loop,但发现 OWI 后端传递 user 信息的时候不包含组别…只能根据用户 ID / email 地址来进行限定了。
设置界面如下:
[image]
1:默认自大消息数,也就是包含 8 条消息。
2:是否每次都保留提示词,也就是第一条消息,这样可以保持同一个话题始终聚焦,推荐开启。
3:单独配置每个用户的最大上下文条数。写在这里的会按照配置进行,没有在这里的 ID...