[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fkbBJ4DStnbDrghJp4gg_RgfN8erf_EO664Jtw1RiDEg":3},{"item":4,"related":46},{"id":5,"type":6,"title":7,"slug":8,"summary":9,"body":10,"coverUrl":11,"productScreenshots":12,"productLinks":13,"authorName":14,"authorUrl":15,"authorSubject":16,"category":17,"tags":22,"sourceLabel":35,"sourceName":36,"sourceUrl":37,"status":38,"seoTitle":39,"seoDescription":39,"canonicalUrl":39,"isFeatured":40,"sno":41,"sortOrder":42,"publishedAt":43,"updatedAt":44,"createdAt":45},"9e9afe71-5d23-4620-8eed-c452ece17b29","article","学会新知识，反而忘掉旧本领：AI 也会灾难性遗忘","catastrophic-forgetting-continual-learning","模型继续学习新任务时，更新参数可能破坏旧任务依赖的能力，形成灾难性遗忘。它不同于聊天记录丢失，也不同于知识库没检索到。本文从共享旋钮的比喻出发，解释持续学习的难题、常见缓解方式和最新研究方向。","一个会识别猫和狗的模型，继续学习鸟类照片之后，照理说应该多会一项本领。现实中，它却可能在鸟类测试上进步，同时把猫认错。这不是存储空间装满了，而是新一轮学习改动了旧能力依赖的参数。\n\n当模型学习新知识导致旧知识显著受损，研究者称之为灾难性遗忘。这里的“灾难性”并不表示模型全部失忆，而是强调能力下降可能突然且严重，不像人类日常遗忘那样缓慢。\n\n## 一组旋钮控制许多本领\n\n神经网络包含大量参数，可以把它们想象成共同控制模型行为的旋钮。训练鸟类识别时，系统根据错误调整旋钮；但其中一些旋钮也参与猫狗识别。新任务不断把它们转向新的位置，旧任务原本合适的组合便被破坏。\n\n问题的根源是参数共享。它让模型能迁移知识：学过边缘、纹理和形状后，识别新物体会更快；同一机制也会造成干扰，因为多个任务争夺相同的内部表示。\n\n这与聊天记录丢失不是一回事。聊天记忆、RAG 文档或 Agent 的外部记事本，属于模型外部的信息管理；灾难性遗忘发生在训练过程中，涉及模型自身参数。把旧资料重新放进上下文，可能临时提醒模型，却没有解决它持续更新时如何保住能力的问题。\n\n```mermaid\nflowchart TD\n    A[旧任务训练] --> B[形成旧能力参数]\n    B --> C[继续学习新任务]\n    C --> D[共享参数被更新]\n    D --> E[新能力提升]\n    D --> F[旧能力可能下降]\n```\n\n## 为什么不能每次都把旧教材重学一遍\n\n最直接的办法，是训练新任务时同时混入旧数据，让模型定期复习。这叫回放或重放。它很有效，但旧数据可能数量巨大、涉及隐私，或者根本没有长期保存。\n\n另一类方法会限制重要参数的变化：如果某个旋钮对旧任务特别关键，就给它加上更强的“阻力”。还有方法为不同任务保留部分独立结构，减少互相踩踏。生成式回放则让模型合成旧任务样本作为复习材料，但合成样本本身可能失真，需要谨慎验证。\n\n这些方案都在平衡两件事：可塑性与稳定性。可塑性太低，模型学不会新东西；稳定性太低，它学得快、忘得也快。人脑能在持续学习中较好地兼顾两者，机器还远未完全解决。\n\n## 新研究试图让记忆有不同更新速度\n\nGoogle Research 在 2025 年介绍的[Nested Learning](https:\u002F\u002Fresearch.google\u002Fblog\u002Fintroducing-nested-learning-a-new-ml-paradigm-for-continual-learning\u002F)把模型视为多个相互嵌套、以不同节奏优化的学习问题。直观地说，不必让所有知识都用同一种速度改写：日常细节可以快速更新，稳定规律则应缓慢变化。\n\n相关概念验证架构显示了改善长上下文记忆和缓解遗忘的潜力，但这仍是研究方向，而不是已经彻底解决持续学习的通用产品。实验优于基线，也不等于模型从此能像人一样终身学习。\n\n## 现实系统怎样发现它正在忘\n\n只测最新任务会掩盖问题。持续学习系统需要保留一组旧能力评测，并在每次更新后同时检查：新知识是否学会、旧任务损失多少、不同人群或罕见案例是否被优先遗忘。\n\n版本回滚也很重要。如果在线模型每天吸收新数据，却没有快照、基准集和变化记录，一次看似正常的更新可能悄悄损坏数月前的能力。\n\n对普通用户而言，最值得记住的是：模型“已经学会”不代表能力永久固化。AI 的知识不是一排互不影响的抽屉，更像一张由共享旋钮编织的网。让它不断成长的同时不破坏过去，正是持续学习最核心、也最反直觉的难题。","\u002Fuploads\u002F2026-08-14\u002F8ddbbcd1-fa08-4a07-b2ca-64bf088b32cd.jpg",[],[],"Foundit","https:\u002F\u002Ffoundit.cn","f39339b1-aaa6-4e86-b0c2-a6e6a21113b5",{"id":18,"name":19,"slug":20,"description":21},"6179d3b6-dc34-4483-9ded-3cd9f1b37a47","科普","abbreviation","介绍各领域新兴概念",[23,27,31],{"id":24,"name":25,"slug":26},"88d2bc27-0e0f-468a-b907-2991cb97b87b","人工智能","ai",{"id":28,"name":29,"slug":30},"4c2bbea6-eab7-40a8-8447-1de478ff7749","分析","analyse",{"id":32,"name":33,"slug":34},"7c76bfc2-f80f-4ee0-a95d-27bd8708b434","技术","slug","资料来源","Google Research：Introducing Nested Learning","https:\u002F\u002Fresearch.google\u002Fblog\u002Fintroducing-nested-learning-a-new-ml-paradigm-for-continual-learning\u002F","published",null,false,60,0,"2026-08-14T00:00:00.000Z","2026-08-14T05:34:29.765Z","2026-08-14T03:06:09.188Z",[47,56,64],{"id":48,"type":6,"title":49,"slug":50,"summary":51,"coverUrl":52,"authorName":14,"sno":53,"publishedAt":54,"createdAt":55},"f00e5274-8e0b-40fe-af3b-b6a8d0183b9c","一张贴纸就能骗过视觉 AI？对抗样本不是魔法","adversarial-examples-fool-visual-ai","人眼仍能认出的物体，经过精心设计的微小扰动或标记后，机器却可能改变判断。这类输入称为对抗样本。本文解释攻击者如何利用模型的决策边界，现实攻击为何比实验更难，以及为什么目前不存在一劳永逸的防御。","\u002Fuploads\u002F2026-09-08\u002F151f887b-c5f1-4647-b369-cdda8a1e1b4f.jpg",50,"2026-09-03T00:00:00.000Z","2026-08-14T03:06:09.765Z",{"id":57,"type":6,"title":58,"slug":59,"summary":60,"coverUrl":61,"authorName":14,"sno":41,"publishedAt":62,"createdAt":63},"305492d4-c146-456a-b341-31140ab9cafd","天气预报不再一格一格算空气，AI 是怎么预测风暴的？","how-ai-weather-forecasting-works","传统数值预报依据物理方程推进大气状态，AI 天气模型则从历史观测与再分析数据中学习状态如何演变。本文以 GraphCast 为例，解释图神经网络如何快速预测全球天气、它与传统方法如何协作，以及极端天气仍有哪些难点。","\u002Fuploads\u002F2026-08-16\u002Fa8b5ddad-d6db-4d12-a159-87a6c5309082.jpg","2026-08-16T00:00:00.000Z","2026-08-14T03:06:12.102Z",{"id":65,"type":6,"title":66,"slug":67,"summary":68,"coverUrl":69,"authorName":14,"sno":41,"publishedAt":43,"createdAt":70},"7f962194-e0c6-4072-9b50-c70054beb0e5","同一个问题问三遍，AI 为什么会给出三个答案？","why-ai-gives-different-answers-sampling","大模型每次回答都在从候选词中继续选择，而不是从数据库里取出一段固定文字。温度、Top-p 和随机采样共同决定回答更稳定还是更有变化。本文用抽签与岔路的比喻，解释 AI 的随机性从哪里来，以及什么时候应该追求一致。","\u002Fuploads\u002F2026-08-14\u002Fb322d338-b5c0-48c7-addf-fbd91421e316.jpg","2026-08-14T03:06:07.351Z"]