谷歌发布“嵌套学习”新范式，破解大模型“灾难性遗忘”难题

2025年11月7日，谷歌研究院正式提出名为 “嵌套学习”（Nested Learning） 的全新机器学习范式，旨在从根本上解决大语言模型在持续学习中面临的“灾难性遗忘”问题。

传统AI模型一旦完成训练，便难以在吸收新知识的同时保留旧技能。而“嵌套学习”打破以往将模型架构与优化算法割裂处理的思路，首次将二者统一为一个多层次、多速率的嵌套优化系统。该框架引入“更新频率”概念，使模型不同组件可按需以不同速度学习，模拟人脑多时间尺度的记忆机制。

基于此理论，谷歌团队开发了概念验证模型 HOPE（Hybrid Optimizer with Persistent Embedding），集成深度优化器与连续记忆系统（CMS）。实验显示，HOPE 在语言建模、常识推理及长上下文“大海捞针”（NIAH）任务中均显著优于现有Transformer和循环架构。

相关论文《Nested Learning: The Illusion of Deep Learning Architectures》已提交至 NeurIPS 2025。谷歌表示，该范式有望推动机器人、自动驾驶和个性化AI助手等需终身学习的领域迈向新阶段。