@xiaofeifeiovo 在 各位佬们是如何看aa这个网站的 中发帖
artifical analysis最近又更新榜单的计算方式了,最新排名如下:
[image]
更新之前chatgpt 和 claude 的前沿模型是有巨大分差的,更新之后只差了一分了。
模型本身的能力没有多大改变,但是aa改变了评价模型的方式,计算出来的分值就出现了巨大的变化。并且aa很常做这种更新。还记得astra刚出的那会和fable差距很大,aa连着更新了几次计算方式,把astra 和 fable的分数拉到了近似的水平。。
aa这种’不稳定‘的榜单很难让人比较信服。
另外到现在aa的官网上还挂着一点参考价值都没有的end-to-end response time。我们都知道像是chatgpt,claude是不输出思维链详细内容的,于是aa就把思考的时间计算到了ttft时间内;同时像deepseek这样的模型是输出思维链的,但是它没有计算真实的思考时间,而是给出了一个较...