maximo (@demouo) 在 讨论上下文压缩的插入位置 中发帖

目前主流的上下文压缩都是 
压缩指令➕原文
这样会打断巨量的token缓存
产生一次全额费用
而原文➕压缩指令
从语料准备、注意力和训练上都是比较自然的
毕竟已经不是system prompt时代了
不知道为什么没往这一块发展
是因为它的效果很不好吗