粉毛红瞳精神病美少女松坂砂糖 (@MatsuzakaSato)关于深度思考模型,你应该知道的一些东西 中发帖

依然是一篇硬货帖,就像我中午煎的牛排一样硬。 


如果你是技术大佬,那或许Deepseek的论文原文对你更有参考价值。
何为Self-prompt
Self-Prompt(自我提示)是指大语言模型在生成过程中,通过自己生成的中间文本引导后续内容生成的一种技术。
我们之前提到,Transformer会将模型的输出Tokens累加到注意力矩阵中,影响模型的后续输出。也就是说,从注意力矩阵角度来说,你向模型提供的上下文,或者模型自己输出的文本,它们都是等价的。
当然,我之前同样提到过,在实际的应用中,不同的上下文来源对模型的影响不尽相同。其中,属模型自己的输出(即Assistant角色的输出)对Token预测的影响较大。这就是为什么,当你尝试各种Prompt注入技术都不太好使的时候,可以尝试一下通过Assistant答复进行上下文污染。
Self-prompt有利有弊。
通常来说,模型...