当噪声变成武器:对抗样本防御的边界与代价
九二三,南京,雨天。实验室的屏幕上,一张熊猫照片被加了一点噪声。肉眼看着还是熊猫,分类器却说,这是长臂猿,置信度 0.97。这种事第一次见会愣住。后来见多了,只剩下一个念头:模型到底在看什么?
对抗样本防御要处理的不是普通噪声。随机高斯噪声往往只让置信度下降,定向扰动却能把决策边界推过去。攻击者知道梯度,或者至少知道一部分梯度。防御者要在不知道攻击类型、强度、迭代步数的前提下,让模型别轻易翻车。这就是麻烦所在。
噪声为什么能骗过模型
监督学习学的是一个从像素到标签的映射。训练时,模型见过猫的各种姿态,但没学过“怎样把猫变成非猫”。梯度下降沿着损失下降方向调参数。攻击反过来,沿着损失上升方向调输入。FGSM 只走一步,符号函数取梯度方向,足够快;PGD 迭代多步,每步投影回 ε 球,更接近局部最优。扰动预算 ε 很小时,人眼不敏感,模型却敏感得要命。
为什么?一个解释是模型依赖非鲁棒特征。纹理、高频边缘、背景像素,这些特征在自然数据里和标签相关,但不因果。另一个解释是决策边界太近。高维空间里,数据点周围有很多方向可以跨越边界,模型却没学会在这些方向上保持稳定。还有优化视角:对抗训练像在做一个极小极大问题,内层寻找使损失增大的扰动,外层更新参数。可惜内层找的是近似,外层也可能过拟合到某种攻击。
对抗样本防御中梯度上升扰动生成示意图
所以,防御不是把模型捂起来。它要改变模型学到的函数,或者改变输入进入模型前的形态,或者改变决策时的证据聚合方式。每条路都有代价。
防御不是给模型穿铠甲
常见做法可以粗分几类。输入变换:压缩、量化、去噪、随机裁剪。思路是破坏扰动结构。问题在于,攻击者可以把变换放进计算图,做 EOT,即期望变换攻击。你随机,他也随机,最后梯度仍然能传过去。梯度掩码:让梯度变得不可用,比如不可微预处理、数值梯度截断。这类方法在自适应攻击面前经常失效。说白了,如果你以为攻击者不会调整,那防御就只是在防自己。
检测器路线也有意思。训练一个二分类器判断输入是否对抗。可是检测器本身也是模型,也会被攻击。更麻烦的是,检测器可能学到数据集偏差,而不是扰动本质。它在 A 数据集上 AUC 很高,换到 B 数据集就崩。还有分布漂移:真实世界里的压缩伪影、传感器噪声、光照变化,和对抗扰动长得很像。检测器要么误杀,要么漏检。
对抗训练是目前较常用的基线之一。它把对抗样本混进训练集,让模型在扰动下仍保持标签。但代价明显:干净精度下降,训练成本上升,而且鲁棒性往往只在训练时用的 ε 和攻击方法附近有效。换一个范数,换一个 ε,换一种攻击,可能又不行。更尴尬的是,鲁棒过拟合:在训练攻击上很强,在未见攻击上一般。
对抗样本防御对抗训练鲁棒性评估曲线图
不过话说回来,对抗训练也不是没用。它至少把问题从“能不能骗过”变成“骗过需要多大代价”。在安全敏感场景,这个代价本身有价值。
验证的陷阱:别用静态基准骗自己
验证的陷阱:别用静态基准骗自己
评估对抗样本防御时,常见错误是只报白盒攻击结果,或者只报固定步数、固定 ε 的攻击。攻击强度不够,防御看起来都好。正确做法是自适应攻击:知道防御机制,端到端求梯度,或者用迁移攻击、查询攻击、黑盒攻击交叉验证。还要报干净精度、鲁棒精度、攻击成功率、扰动大小、计算开销。少一个,结论就可能偏。
另一个陷阱是梯度混淆。有些防御让梯度消失或爆炸,攻击者一算就失败。但用零阶优化、随机搜索、迁移样本,往往能绕过。论文里如果只测梯度攻击,结论就脆。评估应该假设攻击者知道防御,除非明确限定威胁模型。Kerckhoffs 原则在机器学习安全里同样适用。
还有数据泄露。防御者用测试集调超参,攻击者又用测试集评估,最后数字好看,实际部署一塌糊涂。应该划分训练、验证、测试,最好有时间切分和分布外测试。现实攻击不会等你准备好。
应用边界:鲁棒性不是万能药
应用边界:鲁棒性不是万能药
对抗样本防御能解决一部分问题,但别指望它包治百病。自动驾驶感知里,物理扰动可能是一张贴纸、一段投影、一块涂鸦。数字域防御在物理域未必成立。人脸识别里,对抗眼镜、对抗口罩可以绕过,但防御可能牺牲正常用户的通过率。内容审核里,攻击者可以用同音字、变体字、图片嵌入,防御模型更新速度未必跟得上。
更根本的是,鲁棒性和准确率、公平性、隐私之间存在张力。对抗训练会让模型对某些群体更不友好,因为决策边界被推平后,边缘样本更容易被误判。去噪会抹掉细节,医学影像里可能把病灶一起抹掉。检测器会引入新的误报,安全运营团队要花时间处理。防御不是免费午餐。
那怎么办?分层。输入层做轻量变换,模型层做对抗训练或正则,输出层做一致性检查,系统层做多模态交叉验证。别把宝押在一个模块。再配合监控:输入分布漂移、置信度异常、梯度范数异常。发现异常时,降级到规则或人工。防御的目标不是绝对安全,而是提高攻击成本,让攻击不划算。
趋势:从静态防御到动态博弈
趋势:从静态防御到动态博弈
未来一段时间,对抗样本防御会更像持续对抗。攻击者会用大模型生成语义保持的扰动,防御者会用扩散模型做净化,或者用随机平滑给出认证鲁棒半径。认证防御有理论保证,但半径往往小,且计算贵。随机平滑在 ImageNet 上能给出可证半径,但面对大扰动仍有限。扩散净化能去噪,但可能引入新伪影,而且采样慢。
还有一条路是形式化验证。把神经网络分段线性近似,验证局部区域没有对抗样本。听起来很美,但扩展到深层网络、Transformer、检测分割任务,仍然困难。另一条路是数据侧:更多数据、更强增广、课程学习。可数据不是万能,分布外样本仍可能穿透。
所以,别指望一个方法通吃。更现实的做法是:明确威胁模型,定义可接受风险,做自适应评估,部署分层防御,持续监控和更新。对抗样本防御不是一堵墙,更像一场成本博弈。攻击者要算账,防御者也要算账。谁的成本更低,谁就占上风。
九二三的南京,雨还在下。屏幕上的熊猫还是熊猫,至少这一次。下一次扰动来时,模型能不能稳住,取决于我们有没有认真对待那些肉眼看不见的方向。