人间清醒指南 (@renjianqxzn) 在 自己动手给免费/魔改模型跑个分,包含 hy4-flash 中发帖
很多免费模型、魔改模型没有公开跑分,官方 leaderboard 查不到,宣传数字又对不上号。于是单机自建环境,把手头能白嫖到的模型横向测了一遍。
参与模型 mossai-nex-n2.6(glm-5.3-flash后训练魔改模型) opencodezen-deepseekv4.1f-free opencodezen-hy4flash-free devin-swe-2-medium(winsurf改名叫devin里的免费档,Kimi3后训练模型,无视力)
用的跑分项目:EvalPlus(HumanEval+ Mini)
HumanEval 太老,很多新模型接近刷爆,区分度差;
EvalPlus 在原题基础上扩充约 80 倍测试用例,专治"碰巧通过"的投机解,plus 分更能反映真实编码水平;
Mini 版是精选用例子集,速度快,结论与全量基本一致,题目也相对不...