xms2008 (@yybin)OpenAI 发布 Astra 后多次改动评测数据,幻觉率先降后恢复 中发帖

OpenAI 9 月 3 日发布 GPT-6 Astra 博客时出现罕见延迟,此后多次修改评测基准。Astra 幻觉率一度从 4.2% 降至 2%,随后又恢复 4.2%。 
GPT-5.6 Sol 的 ExploitBench 得分从 5.5% 上调至 11.5%,Anthropic 的 Fable 5.1 数学分数一度被调低约 10 个百分点。OpenAI 称调整是为了让数字代表对模型性能的最佳估计。
Fortune