@11111111111ge1九坤投资的IQuest跑分有作弊嫌疑?第三方实测40B模型跑不过14B qwen模型 中发帖

1月1日 至知创新研究院(IQuest Research)发布全新一代开源代码大模型IQuest-Coder-V1系列 。当时宣传性能强劲,在自主性软件工程、竞赛编程等关键维度上,成为了当下开源模型SOTA。当时的介绍在这里: 
九坤投资创始团队成立至知创新研究院,发布开源国产代码大模型IQuest-Coder-V1,声称开源模型SOTA,只需40B就能秒杀部份闭源模型 - 前沿快讯 - LINUX DO
很快有社区用户(@xeophon)发现在 SWE-bench 测试中,官方配置有无,模型输出中错误引用了 未来日期的 Git commit,相当于考试直接看到答案,大概 24% 的内容都受到了影响,此次测试无效。
好在官方态度比较积极,修复问题后进行了重新评估:
[image]
这就是原帖楼下那位发现官方修改评分表现的原因。
[image]
之后 @HaohaoHenr5...