Mozi (@yeahhe) 在 谷歌发布“嵌套学习”范式:让 AI 像人脑一样温故知新,从“健忘”到“过目不忘” 中发帖
谷歌研究院于 11 月 7 日发布博文,为攻克 AI 模型在持续学习新知识时遇到“灾难性遗忘”难题,介绍了嵌套学习(Nested Learning)全新机器学习范式。
当前的大语言模型尽管强大,但其知识仍局限于预训练数据或有限的上下文窗口,无法像人脑一样通过“神经可塑性”(Neuroplasticity,指大脑能够根据经验、学习和环境变化来调整自身结构和功能的能力)持续学习新技能而不遗忘旧知识。
[image]
若直接用新数据更新模型,往往会导致“灾难性遗忘”(Catastrophic Forgetting),即学会新任务后,旧任务的性能会严重下降。为解决这一根本性挑战,谷歌研究院的研究人员提出了全新的解决思路。
在发表于 NeurIPS 2025 的论文中,谷歌推出了“嵌套学习”(Nested Learning)范式。该范式从根本上统一了模型架构与优化算法这两个传统上被分开处理...