Domain Generalization Using a Mixture of Multiple Latent Domains

# Domain Generalization Using a Mixture of Multiple Latent Domains

---

## Info

* Conference: AAAI 2020
* Cites: 14
* Github Stars: 38
* Github Solved/Issue: 2/5 (可复现性存疑)
* Author: ![title](https://leanote.com/api/file/getImage?fileId=5fdb8de9ab64412c2b000342)

--------

## Main Idea

* 把所有 Source Domain 混起来，当作一个 Domain。
* ![title](https://leanote.com/api/file/getImage?fileId=5fdb8e1dab64412e34000373)
* 通过聚类和二分图最大匹配来从网络浅层每个 Channel 的均值和方差 生成 Psesudo Domain Label。
* ![title](https://leanote.com/api/file/getImage?fileId=5fdb8e41ab64412e34000374)
* 然后训练的时候的 loss 就为 分类正确率Loss + 分类 Entropy Loss + 对抗 Loss。
* ![title](https://leanote.com/api/file/getImage?fileId=5fdb8f55ab64412c2b000345)
* 训练流程为，统计浅层每个channel的均值和方差，然后做聚类，然后通过二分图最大匹配保证这次生成的 psesudo label 和上次尽可能相似（稳定）。
* ![title](https://leanote.com/api/file/getImage?fileId=5fdb9002ab64412e34000378)

## Results

* 常用的 VLCS 上比其他显著高不少，但是这个的 Deep All Baseline （只保留classification loss）高的有点离谱。不过相对提升也不算差。
* ![title](https://leanote.com/api/file/getImage?fileId=5fdb90a9ab64412c2b000348)
* 另一个域之间差异更大的数据集
* ![title](https://leanote.com/api/file/getImage?fileId=5fdb91e6ab64412e3400037a)
* Ablation Study
* ![title](https://leanote.com/api/file/getImage?fileId=5fdb91bbab64412c2b000349)

## Inspiration and Comments

* 这个方法看起来真的不优雅，超参似乎不少，比如浅层网络选哪些，聚类超参等等。
* 直接忽视原 Domain 标签的想法不错。
* 本质上还是训练网络部分层对于不同bias的输入的输出不变的能力。当 pseudo domain 达到输入数据数量时，就是从输出的logits中，无法得知任何与原输入除了分类以外的其他信息。这样的话，应该可以使用 pair wise 的正负样本对实现训练。

wuvin

导航

最近发表

友情链接