上一篇：GLM-5.2 
题库更新
SNSE Bench 的初版题库仅有 12 题，且采取的测试方法为 pass@1，导致测试成绩的准确性不足，测试误差较大。并且一部分题目的难度对于当下飞速增长的 LLM 水平来说显得较低，分数饱和（谁能想到在仅仅一年之前，大部分模型即使 pass@5 也无法做出本题库中的 T1 呢）。考虑到以上两项原因，笔者在过去的一段时间内挑选了三道难度较高，且笔者曾在比赛中或是在平时练习中解决过的的题目，加入到 SNSE Bench 题库中，编号顺次为 T13~T15。 
其中，T13 和 T14 都是树上问题。T13 结合了 DP，要求模型具有极高的结构刻画与性质观察能力，并且哪怕在观察到解决本题所需的所有性质之后，设计出能解决该问题的 DP 状态，以及对于 DP 转移的优化都对模型的思维能力有一定要求。T14 结合了数据结构，对于模型的性质观察能力要求较低，但要...