@stevessr 在 karpathy/autoresearch:AI agent 自动进行单GPU小规模聊天训练的研究 中发帖
想法是:给一个AI代理一个小型但真实的LLM训练装置,让它一夜之间自主实验。它修改代码,训练5分钟,检查结果是否改进,保留或丢弃,然后重复。你早上醒来,看到一堆实验记录,(希望)有一个更好的模型。这里的训练代码是nanochat的简化单GPU实现。核心理念是你不会像作为研究人员那样去触碰任何Python文件。相反,你是在编写 program.md Markdown 文件,这些文件为 AI 代理提供上下文,并建立你的自主研究组织。这个仓库的默认 program.md 故意保持为最基础的基线,虽然很明显会随着时间推移,找出最快研究进度的“研究组织代码”,如何增加更多特工等。关于这个项目,关于这个项目的更多背景信息,可以在这条推文里提供。