Robustness

# Adversarial Examples: Opportunities and Challenges

## AE 的来源

* 过拟合，泛化能力弱。
* 高维度线性函数对于pertubation非常敏感。

## AE 的特征

* Transferability, 训练在同一任务上的不同模型，容易被同一 AE 攻击。
* Regularization effect， AE 可以用来提升鲁棒性。
* Adversarial instability， AE 容易被模糊、旋转、光照变换破坏。

## AE 评价指标

* 成功率，AE 生成的成功率，通常和$L_{inf}$负相关
* ML模型鲁棒性，鲁棒模型通常有两个特征——高泛化能力、关于输入的周围一定空间内输出固定
* Transferability， 有多高比例的生成的AE可以用于攻击其他模型（不同结构，不同训练数据）。
* matching rate， AE在模型1上target为Y时，模型2上依旧识别出来是Y的概率。transfer rate 与模型本身网络架构、容量、准确率有关，以及pertubation的大小有关。
* Perturbations，需要多大的修改，通常L2
* Perceptual adversarial similarity score (PASS),  structural similarity (SSIM)  index as a metric to measure the similarity between two images. SSIM 包含 luminance, contrast, and structure.

## AE 分类

![title](https://leanote.com/api/file/getImage?fileId=5f1a6a04ab64411206001777)

## AE 经典算法

* Box-constrained L-BFGS, 最早的方法，把生成问题改为最优化，L2限制
* FGSM, 错误方向对于输入的梯度取符号$\times \epsilon$
* BIM, 将一次AE方法改成迭代常数次，与PGD等效。也有加momentum的。
* JSMA，改为限制修改的像素个数，根据attribution map每次修改一个像素，直到fool。（诶是不是有了attribution benchmark）
* One Pixel Attack，只改一个像素
* DeepFool， 相比FGSM更小扰动下同样效果，PGD自动判停版
* Universal Adversarial Perturbations，对所有图像都生效的全局扰动
* UPSET， 每一类一个全局扰动
* Adversarial Transformation Networks，训练一个NN生成AE
* Carlini and Wagner Attacks, 对抗防御蒸馏的方法，一个综合了多个方面考虑，实践上非常强的算法。
* Ensemble Attack，取多个模型，找到一个对多个模型都有效的AE，觉得这样AE的泛化能力更强。
* ![title](https://leanote.com/api/file/getImage?fileId=5f1e366aab64411a9f000484)
* 星号越多越容易被人察觉
* ![title](https://leanote.com/api/file/getImage?fileId=5f1e3970ab64411a9f0004b1)
* 不得不说湖南大学真的太穷了，只有一张 1050Ti
* ![title](https://leanote.com/api/file/getImage?fileId=5f1e3a8aab64411a9f0004bf)
* ![title](https://leanote.com/api/file/getImage?fileId=5f1e3b34ab64411c9a0004bd)

## 经典防御算法

### 修改训练和测试的过程

* Brute-force adversarial training 在训练时加入对抗样本，但无论添加多少对抗样本，都存在新的对抗攻击样本可以再次欺骗网络
* Data compression as defense, JPG压缩后图像可以很大程度上防御FGSM的攻击, 但单纯的压缩不能有效防御。压缩大了会损失精度，压缩小了又防御性能又不好
* Foveation based defense, 对FGSM和L-BFGS比较有用，但对更强的攻击算法失效
* Data randomization 图像增强（不太好用，因为无法区分哪个是对抗样本，统一调整很容易降低干净样本的精度）
* Mean Blur, 输入图片加blur。

### 修改网络

* Deep Contractive Networks,使用Contractive Auto Encoders 自编码器，对L-BGFS攻击比较有效，但在DCN提出之前，更强的攻击已经提出来了，他没比，估计是不行的。
* Gradient regularization，增加输入梯度的正则项来提高模型的鲁棒性。与对抗训练结合效果会更好，但缺点是会让模型的训练的复杂度翻倍。
* Defensive distillation 用知识蒸馏的方法来防御对抗攻击，可以抵抗小幅度扰动的对抗攻击。 Hinton提出,但面对C&W几乎没有抵抗能力，防御蒸馏可以算是梯度遮蔽的方法之一
* 生物启发的防御方法， 高度非线性激活函数以防御对抗攻击
* Parseval Networks, 通过控制全局Lipschitz常数，采用分层正则化的方法
* DeepCloak，在最后的fc前 drop 一定的特征（~5%）， 这些特征是由对抗样本和原样本的差统计下来得到的，但这个drop的部分是固定的，所以可能换个adversarial的方法就可能跪掉。

### AE检测

* 基本假设1， detector is difficult to be attacked.（不然可能会开始套娃？）
* 现在的检测方法都是使用 输入/中间层feature 通过 另一个NN/PCA/SVM，以及Dropout detection.
* ![title](https://leanote.com/api/file/getImage?fileId=5f1e4a0eab64411a9f00059d)

## RECENT CHALLENGES AND NEW OPPORTUNITIES

* It is difficult to build a generalized AE construction method
* It is difficult to control the magnitude of perturbation for target images
* AEs are difficult to maintain adversarial stability in real-world applications
* Model the physical transformation
* Defense is highly related to model architectures and parameters
* Weak generalization for defense models

wuvin

导航

最近发表

友情链接