佩恩 (@carlpayne) 在 `o1-preview` 显式指定模型参数时的异常行为 中发帖
对于 o1-preview 官方文档中提到:
temperature and top_p are fixed at 1 , while presence_penalty and frequency_penalty are fixed at 0
Reasoning models - OpenAI API
然而通过在 API 调用 o1-preview 模型时,在请求体中使用这四个参数相比不使用这四个参数,模型的能力在一些问题中显示出较大差异,以下面的问题为例:
随机变量在定义域上有限是否能推出这个随机变量的期望也有限?如果不能,你能举出反例说明吗?
带上这 4 个参数时,多次尝试中模型总是得到肯定答复(错误❌),而不使用这 4 个参数时模型能够得到否定答复(正确✅)。该问题在 gpt-4o 下能够得到否定答复(正确✅)。
问题在于,很多三方对话客户端在请求体中默认携带了这...