liwen (@niceNickname)实践一段时间magic-context后发现导致缓存命中率不高的几点现象 中发帖

最近几天将pi的上下文管理用了magic-context进行管理,用了之后发现缓存命中率频繁失效 
[420ecf49b267dbb931954e2f2978af8e]
发现有2个地方会导致缓存命中容易失效
1.magic-context自动调用的ctx-reduce,在自动释放无用上下文清理后,会改变请求前缀导致缓存命中失效。
2.达到execute_threshold_percentage压缩阈值后的压缩,也会导致缓存命中失效,这里导致失效的原因是每次压缩后和压缩前token数量没差多少。但是压缩导致请求前缀变化,从而缓存命中失效。
[image]
解决方法:
针对于第一种情况:在magic-context.jsonc增大压缩阈值、magic-context默认的缓存失效时间,如
// 压缩执行阈值:上下文占用达到该百分比时强制执行排队的 drop/fold 操作。
...