Adversarial Examples: Opportunities and Challenges

AE 的来源

• 过拟合，泛化能力弱。
• 高维度线性函数对于pertubation非常敏感。

AE 的特征

• Transferability, 训练在同一任务上的不同模型，容易被同一 AE 攻击。
• Regularization effect， AE 可以用来提升鲁棒性。
• Adversarial instability， AE 容易被模糊、旋转、光照变换破坏。

AE 评价指标

• 成功率，AE 生成的成功率，通常和$L_{inf}$负相关
• ML模型鲁棒性，鲁棒模型通常有两个特征——高泛化能力、关于输入的周围一定空间内输出固定
• Transferability， 有多高比例的生成的AE可以用于攻击其他模型（不同结构，不同训练数据）。
• matching rate， AE在模型1上target为Y时，模型2上依旧识别出来是Y的概率。transfer rate 与模型本身网络架构、容量、准确率有关，以及pertubation的大小有关。
• Perturbations，需要多大的修改，通常L2
• Perceptual adversarial similarity score (PASS), structural similarity (SSIM) index as a metric to measure the similarity between two images. SSIM 包含 luminance, contrast, and structure.

AE 分类

AE 经典算法

• Box-constrained L-BFGS, 最早的方法，把生成问题改为最优化，L2限制
• FGSM, 错误方向对于输入的梯度取符号$\times \epsilon$
• BIM, 将一次AE