火车上用不了开发设备，用聊天模型简单查了一下记忆系统相关设计，学界内基本的评判标准是DynamicMem等测试集模拟用户使用，测试集的主要测试内容是direct qa（问明确的事实性问题查询能否获得准确回答），但几乎没有用户实际评分的基准。 
同时发现另一个论文是MemUse，结论是direct qa与实际用户体验基本无关：提升了direct qa eval准确率数成的算法，用户体验度评分没有显著变化。 
我的直觉是基于direct qa的eval为中心甚至唯一指标在战略上是不可取的，甚至只追求它是战术上勤奋战略上懒惰。 
我自己用hermes mnemosyne plugin的体验就是记忆如挤牙膏：我期待它能在多次互动中默会到的它意识不到，我明确指向说与什么相关它才能想起来。在这个基础上，记忆系统原本的意义几乎没有了：最有价值的「用户自己也不知道记哪些」的部分没法提供；而如果需要用户「已...