@Eitan动态调整LLM系统提示词的思路探讨 中发帖

我有一个想法:LLM 的 System 提示词动态更改 
目前有一个实现思路:在每次对话结束后,都在后台调用一次大模型,让它根据对话历史动态修改一次 System 提示词。
但这个做法感觉有两个问题:

提示词难以约束: 改着改着就容易跑偏,往奇怪的方向发展,而且感觉更容易被 Prompt injection 攻击。
成本高: 每次对话都额外调用一次模型,Tokens 消耗大,成本蹭蹭涨。

这个想法的背景和我之前的思路有关:
我之前在另一个帖子里也提过类似的架构想法。


整体架构思路是: 搞一个“主模型”和一个“后台模型”,让它们并行工作。

主模型: 主要负责和用户对话、回复。它可以是纯文本 LLM,也可以用类似 Qwen Omni、ChatGPT-4o 这样的多模态/全模态模型。
后台模型: 负责处理各种“后台任务”,比如:

动态修改 System 提示词(就是上面想的...