粉毛红瞳精神病美少女松坂砂糖 (@MatsuzakaSato) 在 那我问你,你的知识库截止到什么时候? 中发帖
长话短说,不是特别复杂的问题。
[image]
首先是一个老掉牙的理论,Transformer模型的工作原理是预测词表中的每一个Token作为下一个输出的概率,而不是给用户一个最正确最合理的回复。
如果有微调、Prompt注入等前期操作,那么开发者很容易引导模型说出某些内容。通常使用小样本微调或者简单的预设提示词,就能让模型明白它的名字、开发者、知识库截止等基本信息。
但是这从不意味着就是正确的。如果乐意,我们可以PUA任何一个模型做出如下回复:
[image]
相反,如果模型并没有通过少量样本进行定向的微调,或者没有Prompt进行提示,那么模型就会回到最原始的道路——生成概率最高的Token序列。
这就意味着它回答什么完全依赖于它的训练语料。
这里的意思是,它更容易模仿语料里相似的、重复出现的问答,而不是真的去思考自己的语料到底截止到啥时候。
这也很好地解释了为什...