浅草爱音 (@soyochan)如何看待目前自迭代,自进化的框架 中发帖

Karpathy开源了autoresearch之后,能够自己迭代自己进化的研究框架一直很火,auto也确实很迷人,后面也出现了如autoagent,开发方面的autoresearch 
我觉得想要性能增强,首先要搞清楚的是为什么性能不够强,也就是找问题,或者说debug,找出问题之后再判断能不能解决,解决一个有解的问题是不难的
但找问题这个过程是很痛苦的,一是问题本身就很难被发现,二是问题的本质也难以理解,三是找到的问题有可能是目前模型能力,架构性能已经到顶了,只有等更强的模型发布才有可能解决
我曾经用过codexloop等codex循环项目,给他一个benchmark和baseline,让他自己跑实验,找问题优化,跑了一天一夜可以说一点成果都没有,甚至出现了偷看测试集,深度预习的现象