朴实无华 (@wangqazwsx)AGI 比我们想象的更近:谷歌刚刚发布了“泰坦”,一种能够实时学习和无限记忆的新架构(搬运) 中发帖

谷歌研究刚刚发布了一篇关于 Titans + MIRAS 的重磅论文。 
这不仅仅是一个上下文窗口的扩展。这是从静态模型向能够持续学习的智能体的根本转变。
摘要:
• 突破性进展:Titans 引入了一种神经记忆模块,在推理过程中更新其权重。
• 这对 AGI 有何意义:当前的 LLMs 每次聊天后都会重置。Titans 理论上可以无限记忆和进化,解决了灾难性遗忘问题。
• 性能:通过基于“惊喜”(意外数据)进行记忆,而非暴力注意力,处理 2M+的标记。
静态 AI 已经正式过时。
论文链接: Titans + MIRAS: Helping AI have long-term memory