佩恩 (@carlpayne) 在 Github Models 未限制 o1 输出 tokens 数量,附 reasoning_effort 视角下的降智 中发帖
Github Models 前段时间开放了 o1 模型(响应的 model 参数为 o1-2024-12-17),早前开放的 o1-preview 和 o1-mini 存在 max_completion_tokens=4000 限制。测试发现 o1 的最大的补全长度能够超出 4k(比较稳定地来到 19k)。
使用下面帖子中提供的 prompt 进行测试:
[image]
进一步测试了 o1 特有的 reasoning_effort 参数不同取值下的思考时间(每组测试两次):
reasoning_effort
思考时间
low
1m25s±10s
medium
30s,3min
high
3m±10s
对比帖子中各位佬友反馈的时间分布,可以一定程度上理解目前基于 reasoning_effort 的“降智”策略。而未生成 “思考标题” 时降智为 o...