@xiaofeifeiovo 在 你们想过模型是如何思考,调整思考强度的吗? 中发帖
思考
实际上模型输出思考内容和输出用户看到的输出内容的计算方式对模型而言没有任何区别,不过模型会在输出的思考内容两侧加上标记符,向程序说明这是思考内容;在正式输出内容两侧加上标记符,说明这是正式输出内容。(通过训练让模型有在思考时尽可能详尽,讲究逻辑,输出时简要)
思考强度
同上,我们不过是在上下文最前面的一部分加上一个说明思考强度的关键词 比如Reasoning: high,并没有对模型架构做出什么修改,让其可以额外输入变量。然后通过训练,让模型知道这部分上下文和后续需要输出的思考内容的长短,相关。
这实际上很有意思,我们实际上是明确知道思考强度是会影响思考内容的详细程度的,我们知道这个先验信息。
但是我们却没有利用这个先验信息来修改这个模型,而是直接在训练的时候,让模型记住这一规律。
这似乎和学术上的一般做法背道而驰:在学术上,当我们知道问题的某些先验信息的时候,往往会对于模...