@XnneHang对合理应用系统提示词和用户提示词的一点思考: Attention is Limited - Lost in the Middle 中发帖

我在昨天建议一个人把反复插入的知识库和记忆放入 user prompt 里而非 system prompt 中。 

一点小建议: 以用户提示词取代系统提示词来插入世界书与日记。 #4

我提出了 system prompt 全局可见和高权重两点,如果冲突的话模型会出幻觉。
而 user prompt 则是局部的和越近的注意力权重越高。
当时提到这两点的时候,我是纯粹出于经验以及对 gemini 2.5 pro 的信任。
但是 issue 提出后我就忍不住对自己产生更多怀疑(这经验怎么来的?),然后也有必要再有依据地分析一下。
经过一番查阅,局部的和越近的注意力权重越高,这点其实 system prompt 和 user prompt 都有。
而有一点偏颇我认为后续 system prompt 的插入注意力权重均不如 primary prompt。(实际上它并不是这么回事,开...