Adversarial Examples: Opportunities and Challenges

AE 的来源

• 过拟合，泛化能力弱。
• 高维度线性函数对于pertubation非常敏感。

AE 的特征

• Transferability, 训练在同一任务上的不同模型，容易被同一 AE 攻击。
• Regularization effect， AE 可以用来提升鲁棒性。
• Adversarial instability， AE 容易被模糊、旋转、光照变换破坏。

AE 评价指标

• 成功率，AE 生成的成功率，通常和$L_{inf}$负相关
• ML模型鲁棒性，鲁棒模型通常有两个特征——高泛化能力、关于输入的周围一定空间内输出固定
• Transferability， 有多高比例的生成的AE可以用于攻击其他模型（不同结构，不同训练数据）。
• matching rate， AE在模型1上target为Y时，模型2上依旧识别出来是Y的概率。transfer rate 与模型本身网络架构、容量、准确率有关，以及pertubation的大小有关。
• Perturbations，需要多大的修改，通常L2
• Perceptual adversarial similarity score (PASS), structural similarity (SSIM) index as a metric to measure the similarity between two images. SSIM 包含 luminance, contrast, and structure.

AE 分类

AE 经典算法

• Box-constrained L-BFGS, 最早的方法，把生成问题改为最优化，L2限制
• FGSM, 错误方向对于输入的梯度取符号$\times \epsilon$
• BIM, 将一次AE

春研

• 做好远程春研的准备

出国准备

• 两到三个国家
• 两个专业以上

国内保研

• 同时准备国内导师选择

研究

• 增加研究面

1. Idea 数量取决于读的论文数量。
2. 快速验证 Idea。
3. 避免一来直接上比较麻烦的坑（代码量大，训练时间长，迭代周期慢）。
4. 先查有没有人做过。
5. 推理思路严谨，实验设计充分

Abstract 怎么写
1. large scope
2. challengy
3. Our solution
4. Contribution, Summary

Intro
1. background
2. why other solution don't work, why our solution works.

Related Work
1. 随便写写
2. 要有条理

Experiments
1. 完善
2. 额外的可以放附录

Discussion
1. 圆故事
2. 可视化
3. 超参敏感性
4. 要写的有意思

Conclusion
1. 别抄 Abstract

找idea
1. 初期避免直接和SOTA竞争
2.

逻辑自洽
自己有哪些改进，为什么能改进，怎么改进，改进是怎么work的

Title

Info

• Conference:
• Cites:
• Github Stars:
• Github Solved/Issue:
• Author:

Main Idea

Title

Info

• Conference:
• Cites:
• Github Stars:
• Github Solved/Issue:
• Author:

Main Idea

Title

Info

• Conference:
• Cites:
• Github Stars:
• Github Solved/Issue:
• Author:

Main Idea

Episodic Training for Domain Generalization

Info

• Conference: ICCV 2019 Oral
• Cites: 30
• Github Stars: 24
• Github Solved/Issue: 1/3
• Author:

Main Idea

• Domain Generalization 任务是给 N 个 domain，然后模型在其中 N-1 个上学，1个中预测。
• DG 的 baseline， 直接在 N-1 个上直接训，一个上预测。
• 本文方法：
• 一个直接学的主 feature extractor 和 主 classifier
• 
• 然后每个 domain 学一个
• 
• 然后子网络和主网络交叉训练
• 
• 即对于主classifier（一共一个主classifier），接子任务的 feature extractor 做预测。
• 
• 再来每个domain，接一个random classifier（这就离谱，不过训的时候random classifier的权重比较低，大约1/5 ~ 1/10，多半起到一个正则化的作用）
• 
• 整体效果，它说挺好
• 
• Ablation study
• 
• 可能复现才知道靠不靠谱了

Backbone Can Not be Trained at Once: Rolling Back to Pre-trained Network for Person Re-Identification

Info

• Conference: AAAI 2019
• Cites: 10
• Github Stars: 30
• Github Solved/Issue: 1/1
• Author:

Main Idea

• 有意思的一篇文章，finetune的时候，每次把后几层（fc除外）直接重置，再接着finetune，比直接finetune高不少。
• 
• 方法：
• 
• Ablation Study, 只 roll back 学习率
• 
• 学出来的区别：
• 
• Generality of rolling back scheme:
• Our method is effective for the problems that require detailed features for discrimination.

Comments

• 这个结论基本符合直觉，以及开源了代码，应该是靠谱的。
• 这个和做DA有点类似，都是 low-level feature 的 shift 是最大的，而中高层的语义是差不多的，所以这么做有些道理。

Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model

Info

• Conference: NIPS 2018
• Cites: 57
• Github Stars: 46
• Github Solved/Issue: 0/2 (知乎听闻复现有问题，据说github代码复现效果极差，根据paper的描述也没人能复现)
• Author:

Main Idea

• Combine VAE with GAN, 期望输入假图像时，让编码尽可能远离 $P_z$。
• 
• 
• 我觉得主要是这个清晰度很高
• 

Wasserstein Auto-Encoder

Info

• Conference: ICLR 2018
• Cites: 372
• Github Stars: 406
• Github Solved/Issue: 6/12
• Author:

Main Idea

• 就是说，都映射到 $N(0, I)$ 了， 这个编码就没意义了，于是放弃中间为 $N(0, I)$。
• 
• 为此，目的改为使得每个 $X$ 对应的分布的混合为 $N(0, I)$，然后判断单个样本是否属于 $P_Z$， 判断方法为 MMD 或者 WGAN。（好像WGAN效果更好）
• 修改重建损失为：
• 
• 中间分布的loss；
• 
• 效果：
• 
•