[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f26t76NidDYQQA0fkX39sQNIrI7sHTowEeagFfmz7wCs":3},{"item":4,"related":46},{"id":5,"type":6,"title":7,"slug":8,"summary":9,"body":10,"coverUrl":11,"productScreenshots":12,"productLinks":13,"authorName":14,"authorUrl":15,"authorSubject":16,"category":17,"tags":22,"sourceLabel":35,"sourceName":36,"sourceUrl":37,"status":38,"seoTitle":39,"seoDescription":39,"canonicalUrl":39,"isFeatured":40,"sno":41,"sortOrder":42,"publishedAt":43,"updatedAt":44,"createdAt":45},"f00e5274-8e0b-40fe-af3b-b6a8d0183b9c","article","一张贴纸就能骗过视觉 AI？对抗样本不是魔法","adversarial-examples-fool-visual-ai","人眼仍能认出的物体，经过精心设计的微小扰动或标记后，机器却可能改变判断。这类输入称为对抗样本。本文解释攻击者如何利用模型的决策边界，现实攻击为何比实验更难，以及为什么目前不存在一劳永逸的防御。","如果在停车标志上贴几块看似普通的图案，人类仍能一眼认出它，视觉模型却可能改变判断。这样的故事听起来像魔术，但背后没有催眠机器的神秘符号，而是攻击者在利用模型的数学决策边界。\n\n经过专门设计、能诱使模型出错的输入，被称为对抗样本。它可以是图片中的细微扰动、现实物体上的贴纸，也可能出现在语音、文本和其他数据中。\n\n## 人眼看物体，模型看坐标\n\n一张图片进入神经网络后，会变成由大量像素数值组成的高维坐标。模型在这个空间里划分区域：落在一边判为“猫”，另一边判为“狗”。正常照片往往位于正确区域，但它距离边界有多远，人眼看不出来。\n\n攻击者可以计算怎样修改像素，才能用较小代价跨过边界。每个像素只变一点，单独看几乎没有意义；成千上万处变化朝同一方向叠加，就可能明显推动模型的内部表示。人类依靠形状、背景与常识保持判断，模型依赖的统计特征却可能被精准击中。\n\n```mermaid\nflowchart LR\n    A[正常输入] --> B[模型决策边界]\n    B --> C[正确类别]\n    A --> D[加入精心设计的扰动]\n    D --> E[跨过决策边界]\n    E --> F[错误类别]\n```\n\nNIST 在[对抗机器学习分类报告](https:\u002F\u002Fwww.nist.gov\u002Fpublications\u002Fadversarial-machine-learning-taxonomy-and-terminology-attacks-and-mitigations)中把这类部署阶段修改输入、改变模型反应的行为归入规避攻击。它与训练阶段偷偷加入恶意样本的数据投毒不同：前者动考试题，后者动教材。\n\n## 数字实验成功，不代表街头贴纸必然成功\n\n在实验室里，攻击者可能知道模型结构和参数，可以逐像素计算最有效的扰动；现实中却要面对拍摄角度、距离、光照、打印色差、摄像头压缩和模型未知等因素。屏幕上有效的图案，打印出来转个角度可能就失效。\n\n因此，“加一点噪声就能控制所有自动驾驶汽车”是夸张说法。但现实限制也不能成为忽视风险的理由。攻击可能利用迁移性：针对替代模型制作的样本，有时也会骗过目标模型。路面标记、二维码、面部识别和工业检测等场景，还可能给攻击者提供可反复测试的入口。\n\n## 为什么修补一个漏洞还会出现下一个\n\n常见防御包括对抗训练：训练时主动加入攻击样本，并告诉模型正确答案。它能提升模型对某类扰动的稳健性，却可能增加成本，也未必抵挡全新的攻击。\n\n输入压缩、去噪、异常检测和模型集成也能降低部分风险，但攻击者会针对防御重新优化。NIST 明确提醒，目前没有能够防住所有误导手段的万能方案。声称“百分之百免疫”的系统反而值得警惕。\n\n高风险产品不应把安全押在单一分类器上。自动驾驶可以结合摄像头、雷达、地图与车辆运动约束；身份核验可以加入活体检测和人工复核；关键操作还应设置速度、金额或权限上限。即使某个模型被欺骗，其他信号仍有机会阻止错误动作。\n\n## 对抗样本揭示了什么\n\n它并不证明 AI 毫无用处，也不证明人类视觉绝不会被骗。它揭示的是：测试集上的高准确率，只说明模型擅长处理与测试数据相似的输入，并不能自动保证面对刻意攻击时仍可靠。\n\n一张贴纸真正“骗过”的不是拥有意识的机器，而是一条过度依赖统计规律、缺少多重校验的决策链。安全的重点也不只是训练一个更聪明的模型，而是让整个系统在模型犯错时仍然可检测、可限制、可恢复。","\u002Fuploads\u002F2026-09-08\u002F151f887b-c5f1-4647-b369-cdda8a1e1b4f.jpg",[],[],"Foundit","https:\u002F\u002Ffoundit.cn","f39339b1-aaa6-4e86-b0c2-a6e6a21113b5",{"id":18,"name":19,"slug":20,"description":21},"6179d3b6-dc34-4483-9ded-3cd9f1b37a47","科普","abbreviation","介绍各领域新兴概念",[23,27,31],{"id":24,"name":25,"slug":26},"88d2bc27-0e0f-468a-b907-2991cb97b87b","人工智能","ai",{"id":28,"name":29,"slug":30},"7c76bfc2-f80f-4ee0-a95d-27bd8708b434","技术","slug",{"id":32,"name":33,"slug":34},"4c2bbea6-eab7-40a8-8447-1de478ff7749","分析","analyse","资料来源","NIST：Adversarial Machine Learning Taxonomy","https:\u002F\u002Fwww.nist.gov\u002Fpublications\u002Fadversarial-machine-learning-taxonomy-and-terminology-attacks-and-mitigations","published",null,false,50,0,"2026-09-03T00:00:00.000Z","2026-09-08T02:02:37.590Z","2026-08-14T03:06:09.765Z",[47,56,64],{"id":48,"type":6,"title":49,"slug":50,"summary":51,"coverUrl":52,"authorName":14,"sno":53,"publishedAt":54,"createdAt":55},"305492d4-c146-456a-b341-31140ab9cafd","天气预报不再一格一格算空气，AI 是怎么预测风暴的？","how-ai-weather-forecasting-works","传统数值预报依据物理方程推进大气状态，AI 天气模型则从历史观测与再分析数据中学习状态如何演变。本文以 GraphCast 为例，解释图神经网络如何快速预测全球天气、它与传统方法如何协作，以及极端天气仍有哪些难点。","\u002Fuploads\u002F2026-08-16\u002Fa8b5ddad-d6db-4d12-a159-87a6c5309082.jpg",60,"2026-08-16T00:00:00.000Z","2026-08-14T03:06:12.102Z",{"id":57,"type":6,"title":58,"slug":59,"summary":60,"coverUrl":61,"authorName":14,"sno":53,"publishedAt":62,"createdAt":63},"7f962194-e0c6-4072-9b50-c70054beb0e5","同一个问题问三遍，AI 为什么会给出三个答案？","why-ai-gives-different-answers-sampling","大模型每次回答都在从候选词中继续选择，而不是从数据库里取出一段固定文字。温度、Top-p 和随机采样共同决定回答更稳定还是更有变化。本文用抽签与岔路的比喻，解释 AI 的随机性从哪里来，以及什么时候应该追求一致。","\u002Fuploads\u002F2026-08-14\u002Fb322d338-b5c0-48c7-addf-fbd91421e316.jpg","2026-08-14T00:00:00.000Z","2026-08-14T03:06:07.351Z",{"id":65,"type":6,"title":66,"slug":67,"summary":68,"coverUrl":69,"authorName":14,"sno":53,"publishedAt":62,"createdAt":70},"9e9afe71-5d23-4620-8eed-c452ece17b29","学会新知识，反而忘掉旧本领：AI 也会灾难性遗忘","catastrophic-forgetting-continual-learning","模型继续学习新任务时，更新参数可能破坏旧任务依赖的能力，形成灾难性遗忘。它不同于聊天记录丢失，也不同于知识库没检索到。本文从共享旋钮的比喻出发，解释持续学习的难题、常见缓解方式和最新研究方向。","\u002Fuploads\u002F2026-08-14\u002F8ddbbcd1-fa08-4a07-b2ca-64bf088b32cd.jpg","2026-08-14T03:06:09.188Z"]