学会新知识，反而忘掉旧本领：AI 也会灾难性遗忘

一个会识别猫和狗的模型，继续学习鸟类照片之后，照理说应该多会一项本领。现实中，它却可能在鸟类测试上进步，同时把猫认错。这不是存储空间装满了，而是新一轮学习改动了旧能力依赖的参数。

当模型学习新知识导致旧知识显著受损，研究者称之为灾难性遗忘。这里的“灾难性”并不表示模型全部失忆，而是强调能力下降可能突然且严重，不像人类日常遗忘那样缓慢。

一组旋钮控制许多本领

神经网络包含大量参数，可以把它们想象成共同控制模型行为的旋钮。训练鸟类识别时，系统根据错误调整旋钮；但其中一些旋钮也参与猫狗识别。新任务不断把它们转向新的位置，旧任务原本合适的组合便被破坏。

问题的根源是参数共享。它让模型能迁移知识：学过边缘、纹理和形状后，识别新物体会更快；同一机制也会造成干扰，因为多个任务争夺相同的内部表示。

这与聊天记录丢失不是一回事。聊天记忆、RAG 文档或 Agent 的外部记事本，属于模型外部的信息管理；灾难性遗忘发生在训练过程中，涉及模型自身参数。把旧资料重新放进上下文，可能临时提醒模型，却没有解决它持续更新时如何保住能力的问题。

最直接的办法，是训练新任务时同时混入旧数据，让模型定期复习。这叫回放或重放。它很有效，但旧数据可能数量巨大、涉及隐私，或者根本没有长期保存。

另一类方法会限制重要参数的变化：如果某个旋钮对旧任务特别关键，就给它加上更强的“阻力”。还有方法为不同任务保留部分独立结构，减少互相踩踏。生成式回放则让模型合成旧任务样本作为复习材料，但合成样本本身可能失真，需要谨慎验证。

这些方案都在平衡两件事：可塑性与稳定性。可塑性太低，模型学不会新东西；稳定性太低，它学得快、忘得也快。人脑能在持续学习中较好地兼顾两者，机器还远未完全解决。

Google Research 在 2025 年介绍的Nested Learning把模型视为多个相互嵌套、以不同节奏优化的学习问题。直观地说，不必让所有知识都用同一种速度改写：日常细节可以快速更新，稳定规律则应缓慢变化。

相关概念验证架构显示了改善长上下文记忆和缓解遗忘的潜力，但这仍是研究方向，而不是已经彻底解决持续学习的通用产品。实验优于基线，也不等于模型从此能像人一样终身学习。

只测最新任务会掩盖问题。持续学习系统需要保留一组旧能力评测，并在每次更新后同时检查：新知识是否学会、旧任务损失多少、不同人群或罕见案例是否被优先遗忘。

版本回滚也很重要。如果在线模型每天吸收新数据，却没有快照、基准集和变化记录，一次看似正常的更新可能悄悄损坏数月前的能力。

对普通用户而言，最值得记住的是：模型“已经学会”不代表能力永久固化。AI 的知识不是一排互不影响的抽屉，更像一张由共享旋钮编织的网。让它不断成长的同时不破坏过去，正是持续学习最核心、也最反直觉的难题。