最近我发现开始出一些类似于”AI 做错题”“AI 搞批改”的软件或商家。我觉得即使抛开他们利用焦虑、命中需求这一点，单纯谈技术本身，它也不是一个特别成熟的东西。我本身有相关需求，所以来说一下为什么它并不是一个特别好的 idea。 
VALS.ai 有一个测试集叫 SAGE（SAGE ），我简单介绍一下：它包含微积分、偏微分方程以及线性代数，数据都是他们和合作伙伴收集的真实学生作答。每个批改都有批改点，比如某个过程有没有拿到分。他家主要提了以下几个问题： 


不同模型给分标准完全不一样。 不存在某一个模型特别能打分，很多模型要么过松，要么过严。 
 [IMG_4414] 


评分两极分化。 正常评分虽然是大头，但过松和过严的占比并不小，两边的比率还是挺大的。 


做题强不代表批改强。这个倒也正常，但我没想到测出来差距很大。虽然现在模型做题很强，但批改起来并不一定强。哪怕它做题可能百分百...