Mozi (@yeahhe)展望:当 Titans 架构普及,也许人手一个 Jarvis 的时代就不远了 中发帖

Ironman 里面的贾维斯,全天候连续对话,能记住大量信息,对托尼的性格进行深度定制,还有一定自主性,权限也大,能控制具身机器人。 
目前的主流模型,上下文多的有 1000K,但是距离成为一个私人助理还是太远了,要真正辅助人的几乎所有生活工作,需要记忆的内容会是 1000 K 的很多倍。纯靠目前的算力和架构要达到这样的记忆能力是不可能的。
Titans 是我觉得未来几年的发展方向(研究记忆能力的方向),记忆能力非常重要。目前的很多模型逻辑能力都比人类强,但是应用方面很难深入到人的方方面面,自主性也不够,一大原因就是记忆能力不足,无法将模型打造成 Jarvis。
[image]
它在推理过程中实时更新权重,把 Context 压缩进了参数里。这解决了自主性(Autonomy)最大的短板——记忆的连续性 。目前的模型逻辑虽强,但因为缺乏这种长期记忆机制,很难在复杂的现实场景中深入执行...