谷歌发布睡眠框架持续学习研究,让大语言模型边用边学且不忘旧知识
谷歌研究团队于 10 月 27 日发布博文,介绍名为睡眠框架的持续学习研究成果,论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》,试图解决大模型发布后知识固化、反复微调易灾难性遗忘的难题。
研究瞄准的是知识截止与灾难性遗忘两大部署痛点,路线是让模型定期巩固记忆而非全量重训,目前仍是论文阶段的实验成果。
- 影响企业自维护模型常面临知识过时与微调后能力下降的两难;该框架展示的边用边学路线若进入产品,可能改变知识更新的成本结构;约 1000 万 token 的上下文处理能力也关系到长文档场景的方案选型。
- 参考可考虑让算法团队精读论文并与现有 RAG 加微调方案做对照;有持续知识更新需求的团队值得评估记忆巩固路线的适用性;先算出自家场景在知识更新频率和长上下文上的真实缺口。