Title

Info

• Conference:
• Cites:
• Github Stars:
• Github Solved/Issue:
• Author:

Main Idea

Title

Info

• Conference:
• Cites:
• Github Stars:
• Github Solved/Issue:
• Author:

Main Idea

Episodic Training for Domain Generalization

Info

• Conference: ICCV 2019 Oral
• Cites: 30
• Github Stars: 24
• Github Solved/Issue: 1/3
• Author:

Main Idea

• Domain Generalization 任务是给 N 个 domain，然后模型在其中 N-1 个上学，1个中预测。
• DG 的 baseline， 直接在 N-1 个上直接训，一个上预测。
• 本文方法：
• 一个直接学的主 feature extractor 和 主 classifier
• 
• 然后每个 domain 学一个
• 
• 然后子网络和主网络交叉训练
• 
• 即对于主classifier（一共一个主classifier），接子任务的 feature extractor 做预测。
• 
• 再来每个domain，接一个random classifier（这就离谱，不过训的时候random classifier的权重比较低，大约1/5 ~ 1/10，多半起到一个正则化的作用）
• 
• 整体效果，它说挺好
• 
• Ablation study
• 
• 可能复现才知道靠不靠谱了

Backbone Can Not be Trained at Once: Rolling Back to Pre-trained Network for Person Re-Identification

Info

• Conference: AAAI 2019
• Cites: 10
• Github Stars: 30
• Github Solved/Issue: 1/1
• Author:

Main Idea

• 有意思的一篇文章，finetune的时候，每次把后几层（fc除外）直接重置，再接着finetune，比直接finetune高不少。
• 
• 方法：
• 
• Ablation Study, 只 roll back 学习率
• 
• 学出来的区别：
• 
• Generality of rolling back scheme:
• Our method is effective for the problems that require detailed features for discrimination.

Comments

• 这个结论基本符合直觉，以及开源了代码，应该是靠谱的。
• 这个和做DA有点类似，都是 low-level feature 的 shift 是最大的，而中高层的语义是差不多的，所以这么做有些道理。

Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model

Info

• Conference: NIPS 2018
• Cites: 57
• Github Stars: 46
• Github Solved/Issue: 0/2 (知乎听闻复现有问题，据说github代码复现效果极差，根据paper的描述也没人能复现)
• Author:

Main Idea

• Combine VAE with GAN, 期望输入假图像时，让编码尽可能远离 $P_z$。
• 
• 
• 我觉得主要是这个清晰度很高
• 

Wasserstein Auto-Encoder

Info

• Conference: ICLR 2018
• Cites: 372
• Github Stars: 406
• Github Solved/Issue: 6/12
• Author:

Main Idea

• 就是说，都映射到 $N(0, I)$ 了， 这个编码就没意义了，于是放弃中间为 $N(0, I)$。
• 
• 为此，目的改为使得每个 $X$ 对应的分布的混合为 $N(0, I)$，然后判断单个样本是否属于 $P_Z$， 判断方法为 MMD 或者 WGAN。（好像WGAN效果更好）
• 修改重建损失为：
• 
• 中间分布的loss；
• 
• 效果：
• 
• 

Auto-Encoding Variational Bayes

Info

• Conference: ICLR 2014
• Cites: 9522
• Github Stars: --
• Github Solved/Issue: --
• Author:

Main Idea

• VAE 介绍
• 目标：近似 $P(X)$ 的分布
• 
• 令 $P(Z|X)$ 服从 $N(0, I)$， 从而 $P(Z)$ 也是 $N(0, I)$
• 
• 与 Auto Encoder 不同的是，中间这一部分是正态分布
• 
• 解决采样不可导问题
• 
• 训练时中间分布的loss (与 $N(0, I)$ 的 KL):
• 

Title

Info

• Conference:
• Cites:
• Github Stars:
• Github Solved/Issue:
• Author:

Main Idea

Title

Info

• Conference:
• Cites:
• Github Stars:
• Github Solved/Issue:
• Author:

Main Idea

Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation

Info

• Conference: CVPR 2020
• Cites: 4
• Github Stars: 9
• Github Solved/Issue: 0/0
• Author:

Main Idea

• 分割中的类中心对齐，对齐 stuff（天，树，地） 的特征和 Instance 的特征，其中对齐 Instance 的特征是为了保留 Instance 的单个特性
• 
• 
• Loss 设计上就是目标域特征离源域最近特征的L1距离
• 
• 
• 整体效果可以
• 
• 
• 其中SSL是self-supervised learning， 训练分两步，第一步常规对抗训练
• 
• 第二步加上 pseudo labels （按照置信度来划分的阈值）。

Comments

• 网络结构图里面没有 image transferring， 但是 ablation study 里面有，文章也没说到底用在哪里。
• 类中心对齐有了，伪标签也有了，还差个moving average了（这个到底和mutual learning重吗)