[!quote]+ 
我们在持续学习（Continual Learning）中引入了“睡眠”阶段，使大型语言模型（LLM）能够在持续整合新知识并增强推理能力的同时，缓解“灾难性遗忘”或因知识截止日期导致的静态知识局限。 
现代大语言模型通过预训练和上下文学习（In-Context Learning, ICL）展现出了卓越的性能。然而，模型一旦部署，其状态往往趋于静态——受限于固定的知识截止日期，它们无法获取长期能力，也难以适应新信息。 
虽然利用新数据更新模型看似是显而易见的解决方案，但持续更新参数往往会引发“灾难性遗忘”——即在学习新任务时，模型在先前已掌握任务上的性能会严重下降。另一方面，若仅依赖上下文学习（ICL），知识的留存将受限于当前的上下文窗口：一旦会话结束，所获取的短期信息便会随之丢失。 
受人类大脑在休息期间处理并稳固记忆这一机制的启发，我们在持续学习中引入了一种“睡...