生命、宇宙以及任何事情的终极答案 (@behemoth) 在 claude疑似正在测试推理模型 中发帖
最近有个比较棘手的代码问题,尝试用了aws的claude api以及deepseek官网的r1 api,发现回答的一塌糊涂,不能说毫无用处吧,反正是胡说八道。
又尝试用了下o3-mini-high,找到了点眉目。后来想起来好久没进过claude的官网了,就随手试了下,结果发现了个让我很震惊的事
官网的claude3.5sonnet能一回合找到我代码里的问题,并且能准确修复。
尝试重复输入几次,都能稳定发现问题并解决。
又尝试用了openrouter的claued api,发现同样拉胯。
据此我就展开了调查,首先怀疑:
我的temperature等参数设置的不太对,严重影响了模型的性能。
claude官网更新了system prompt,prompt提升了模型能力。
针对第一点,我试了各种参数组合,发现api都无法解决我的问题,就先排除了这个原因。
针对第二点,我想起来ant...