quiet-sleep 在 为什么大模型不说人话 中发帖
突然冒出来的一点小思考:
不知道最近佬们用GPT有没有一种感觉,就是这玩意越来越不说人话了,感觉很多时候,说的云里雾里的,完全看不懂。
但是你让他再解释一遍,它又能组织一段能看懂的语言了,说明模型本身是有能够输出让人看懂的好理解的语言的能力的。
我在使用的过程中会发现这种情况,就是他输出的我看不懂的东西,我就会很大概率抛弃脑子直接让他按照方案开搞,如果他说的我能够理解,反而会出现那种,给他打回去返工很多遍直到符合我的预期。
众所周知,大模型训练现在这个飞轮,燃料很大一部分都来自我们这些对话的工程的数据。
如果完成一个任务,模型输出一段很费脑子的话,然后用户无脑确认,这个任务链就短,反之就会很长,所以是不是大模型训练的时候,学这些短程任务就很快容易得分,而带来的负面影响就是不说人话。