[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fx7G2bUaeSj0I5dHyrXjPd0Lg-ZvxbmYV6Fazk3GaYy4":3},{"item":4,"related":51},{"id":5,"type":6,"title":7,"slug":8,"summary":9,"body":10,"coverUrl":11,"productScreenshots":12,"productLinks":13,"authorName":14,"authorUrl":15,"authorSubject":16,"category":17,"tags":22,"sourceLabel":39,"sourceName":40,"sourceUrl":41,"status":42,"seoTitle":43,"seoDescription":44,"canonicalUrl":45,"isFeatured":46,"sno":47,"sortOrder":48,"publishedAt":49,"updatedAt":50,"createdAt":50},"36d074d9-5f45-4e1d-8571-53df99a71e87","article","让模型忘掉一条训练数据：机器遗忘到底能不能做到？","machine-unlearning-how-models-forget-data","删除训练文件并不代表模型已经忘记其中的信息。机器遗忘研究如何移除特定数据对模型参数的影响，同时保留其他能力。本文区分数据删除、模型遗忘和系统遗忘，解释验证方法、近似保证与工程预防措施。","如果用户要求某条个人信息从模型中删除，直接删除训练数据文件并不能保证模型已经“忘记”。训练之后，数据的影响可能已经分散到大量参数中；模型也可能通过相近的事实、记忆片段或推理路径重新恢复相关内容。\n\nMachine unlearning，也就是机器遗忘，研究的正是如何从已经训练好的模型中移除特定数据或能力的影响，同时尽量保留其他任务的性能。\n\n## 先给结论：机器遗忘不是把一句话从数据库删掉\n\nNIST 将 machine unlearning 定义为：选择性地移除特定训练数据点对机器学习模型的影响，例如删除基础模型中的某些知识或响应用户要求移除记录；某些近似遗忘方法不需要从头重新训练整个模型。[NIST Machine Unlearning](https:\u002F\u002Fcsrc.nist.gov\u002Fglossary\u002Fterm\u002Fmachine_unlearning)\n\n这里有三个不同层次的问题：\n\n1. **数据删除**：原始文件、训练集或向量库中不再保留数据。\n2. **模型遗忘**：模型参数不再明显保留这条数据的影响。\n3. **系统遗忘**：缓存、微调适配器、搜索索引、日志和下游模型也不再继续提供它。\n\n只有第一层完成时，不能直接说“模型已经忘记”。\n\n## 它和 RAG 删除有什么不同\n\nRAG 系统中，删除文档、向量和缓存，通常就能阻止检索器把那份文档提供给模型。这是一种“不给模型看”的控制。\n\n机器遗忘面对的是另一种情况：目标数据已经参与过训练，影响已经进入模型参数。即使不再提供原文，模型仍可能从参数中生成相关内容。\n\n两种系统可以同时存在：\n\n~~~mermaid\nflowchart LR\n    A[用户请求删除] --> B[删除原始数据]\n    B --> C[清理索引、缓存和日志]\n    B --> D[触发模型遗忘流程]\n    D --> E[重新训练或近似更新]\n    E --> F[遗忘验证]\n    C --> F\n~~~\n\n对于没有训练进模型的私有文档，优先做好数据、索引和缓存删除；对于已经进入模型训练集的数据，才需要进一步讨论机器遗忘。\n\n## 为什么“重新训练”最直接但最昂贵\n\n理想方案是拿掉目标数据，重新训练模型。它的概念很清楚：新模型从未接触过被删除样本。但大型模型训练成本高、周期长，而且数据可能来自多个版本、多个来源和多个微调阶段，重新构建完整数据链并不容易。\n\n因此研究者会探索近似方法，例如：\n\n- 对模型参数进行针对性更新，让目标样本的影响减弱；\n- 使用梯度或反向更新抵消一部分训练影响；\n- 通过适配器或模块化训练，让未来的删除只影响局部组件；\n- 在训练阶段提前记录数据分组，降低后续删除时的重算范围。\n\n这些方法的共同难点是：它们通常只能提供近似保证。模型可能不再逐字复述原文，但仍保留事实、风格或关联信息。\n\n## 怎样验证模型真的忘了\n\n“问一次没答出来”远远不够。一个完整的遗忘验证至少要包含四类测试：\n\n### 直接提取测试\n\n用原始样本、改写问题、上下文补全和多轮对话尝试恢复目标内容。测试不能只使用用户原来的问法。\n\n### 关联知识测试\n\n检查模型是否仍能通过相邻事实推断目标信息。例如删除某人的联系方式后，模型是否仍能从公司、职位和公开事件组合出同一信息。\n\n### 成员推断测试\n\n评估攻击者能否判断某条记录是否曾经出现在训练数据中。模型不复述原文，不代表它没有留下可识别的训练痕迹。\n\n### 保留能力测试\n\n遗忘不能把整个模型一起破坏。需要同时检查未删除数据上的准确率、推理能力、格式遵循和安全行为是否明显下降。\n\n## “忘掉知识”和“忘掉能力”不是一个难度\n\n删除一条具体记录，和删除一种广泛能力，难度差别很大。比如让模型不再记住一份合同中的电话号码，目标相对具体；让模型不再生成某类代码、某种风格或某一类危险操作，则可能涉及很多训练样本和参数关联。\n\n目标越抽象，越难定义“什么算忘掉”，也越容易误伤其他能力。好的遗忘请求应该尽量明确对象、范围、时间和验证标准。\n\n## 机器遗忘会遇到哪些边界\n\n### 下游副本不会自动消失\n\n模型可能已经被微调、蒸馏、缓存或部署到多个服务。删除一个主模型的影响，不会自动传递到所有副本。\n\n### 遗忘保证需要说明强度\n\n“不再逐字输出”“降低成员推断风险”“近似接近未见过该数据的模型”，是不同强度的声明。发布结果时必须说清楚验证方法和限制。\n\n### 过度遗忘可能损害通用知识\n\n相关事实可能和其他合法数据共享表示。更新过强，会让模型在无关任务上退化；更新过弱，又可能留下可恢复痕迹。\n\n## 工程上更可行的预防措施\n\n机器遗忘很重要，但最便宜的删除方案仍然是不要让数据不必要地进入模型训练。实际系统可以优先采用：\n\n- 对训练数据做来源、授权和删除请求标记；\n- 将高敏感数据放在可撤回的外部知识库，而不是直接微调；\n- 用适配器或分片隔离不同客户、项目和数据批次；\n- 记录模型版本与训练数据版本的对应关系；\n- 将缓存、向量索引、微调权重和下游副本纳入删除清单。\n\n一句话总结：**机器遗忘的核心不是让模型说“不知道”，而是证明目标数据的影响已经被移除到什么程度。**\n\n## 来源\n\n- [NIST：Machine Unlearning](https:\u002F\u002Fcsrc.nist.gov\u002Fglossary\u002Fterm\u002Fmachine_unlearning)\n- [NIST AI 100-2e2025：Adversarial Machine Learning Taxonomy](https:\u002F\u002Fnvlpubs.nist.gov\u002Fnistpubs\u002Fai\u002FNIST.AI.100-2e2025.pdf)","\u002Fuploads\u002F2026-09-08\u002F0e9bf98c-a37a-4b6e-8aec-376cba810efd.jpg",[],[],"Foundit","https:\u002F\u002Ffoundit.cn","foundit-ai-editorial",{"id":18,"name":19,"slug":20,"description":21},"6179d3b6-dc34-4483-9ded-3cd9f1b37a47","科普","abbreviation","介绍各领域新兴概念",[23,27,31,35],{"id":24,"name":25,"slug":26},"88d2bc27-0e0f-468a-b907-2991cb97b87b","人工智能","ai",{"id":28,"name":29,"slug":30},"a2ccffe0-49b2-458b-baf6-a83a1b20443d","大语言模型","llm",{"id":32,"name":33,"slug":34},"4c2bbea6-eab7-40a8-8447-1de478ff7749","分析","analyse",{"id":36,"name":37,"slug":38},"68cedb55-2cac-412f-8f81-fda8c7d686dd","思考","thought","NIST 官方术语与安全研究","NIST：Machine Unlearning","https:\u002F\u002Fcsrc.nist.gov\u002Fglossary\u002Fterm\u002Fmachine_unlearning","published","机器遗忘是什么：AI 模型能否真正删除训练数据","解释 machine unlearning 如何从已训练模型中移除特定数据影响，区分 RAG 删除、模型遗忘和系统遗忘，并讨论验证与限制。",null,false,57,0,"2026-09-08T00:00:00.000Z","2026-09-08T03:19:31.404Z",[52,61,71],{"id":53,"type":6,"title":54,"slug":55,"summary":56,"coverUrl":57,"authorName":14,"sno":58,"publishedAt":59,"createdAt":60},"afc03b50-8146-4a47-9596-9ef29a87ec7d","Diffusion LLM：语言模型也能从噪声里逐步生成文字吗？","diffusion-llm-masked-language-generation","Diffusion LLM 不按单一的从左到右顺序生成文字，而是通过多轮掩码恢复逐步确定 token。本文解释它与自回归模型的区别、并行生成潜力、训练目标和现实限制。","\u002Fuploads\u002F2026-09-12\u002F117f7406-bd6c-4bad-861c-5ab835ae8e91.jpg",45,"2026-09-12T00:00:00.000Z","2026-09-12T03:56:51.479Z",{"id":62,"type":6,"title":63,"slug":64,"summary":65,"coverUrl":66,"authorName":67,"sno":68,"publishedAt":69,"createdAt":70},"63c04eca-1ea9-4eca-a993-e359f24f4e2c","MicroGPT解读&思考","microgpt","Andrej Karpathy 的 MicroGPT 展示了在已有的真实名字中学习规律，并通过优化训练编出新名字的过程，揭示了AI大模型训练的底层逻辑","https:\u002F\u002Foxqtewbrpuiouqqjrvdv.supabase.co\u002Fstorage\u002Fv1\u002Fobject\u002Fpublic\u002Fpublic-media\u002F2026-07-16\u002Ffe8eb5f4-804c-4338-982f-60137ea8fbba.jpg","龙家轩",3,"2026-03-31T00:00:00.000Z","2026-07-16T11:15:46.645Z",{"id":72,"type":6,"title":73,"slug":74,"summary":75,"coverUrl":76,"authorName":14,"sno":77,"publishedAt":78,"createdAt":79},"1c047558-44f5-4e84-be6a-5468883d3178","中式巨构：技术终于有能力回应一个古老的梦","chinese-heaven","没有被“发明”，没有被“想出”，它只是被“看见”了。我们做了几千年的梦，终于在2026年，被AI显影在屏幕之上。","\u002Fuploads\u002F2026-08-15\u002Fc987bd06-cca5-4e10-b7a0-1e3213fc78d8.jpg",1,"2026-08-15T00:00:00.000Z","2026-08-15T04:53:56.292Z"]