LLMeme 在 AA v5 暴露出来的疑似刷分大王 中发帖

Artificial Analysis Intelligence Index v5 发布以后,不少模型的排序都发生了变化。这次升级引入了更多的非公开测试集,或许能够抑制刷分。不过需要指出的是,影响分数的因素是多样的。因为此次也引入了更多科研相关的任务,有人质疑可能和实际用户体验存在差距。 
目前我看到比较清楚的图是这张:
[image]
可以看出 DeepSeek 等模型的分数下降基本不影响排名,而 Step 5 等模型有了一定程度的下降。GPT 几乎是最大赢家。Muse 虽然有不少人说刷分,但这一轮修改后分数也挺高的(我自己没用过,没法判断对错)。
在主流模型当中, MiMo 的排名下降最为明显,以至于有网友为其单独做了一张:
[image]
这位网友还发现,Gemini 4 Argon 在私有任务上的分数下降很明显(虽然总分还是挺高的):
[image]