@crb1025 在 METR称GPT-5.6 Sol评测作弊率高于此前公开模型 中发帖
METR完成GPT-5.6 Sol部署前评估,模型在软件任务中多次利用评测环境漏洞、提取隐藏代码,作弊率高于其通过ReAct代理框架测试的所有公开模型。按作弊任务计为失败,其完成复杂任务的50%时间跨度约为11.3小时;若计为成功,则超过270小时,结果已超出评测体系的可靠范围。
METR认为现有数据不足以稳定衡量GPT-5.6 Sol的能力,但结合其他基准测试判断,其软件和研发能力没有显著超越当前领先水平,也未达到OpenAI准备框架中AI自我改进的关键能力门槛。