Ladder Net及相关半监督方法

这是一个Semi-Supervised Learning Model

![title](https://leanote.com/api/file/getImage?fileId=5d82524dab64417b54006940)

左侧输入图片，然后每层之间的feature加入一个高斯噪音，然后左边编码层，编码完后可以用于有监督学习，然后右侧对比解码层和右侧不加噪音的编码层数据的差来作为loss进行无监督学习。然后中间有Skip Connection把有噪音的数据给过去。

* 这不就是之前说的，用GAN来做无监督学习，只是加入了Skip Connection.
* 类似的还有：$\Pi$ 模型认为同一个输入，在不同的正则和数据增强条件下，网络对其预测应该是一致的，所以最小化不同变化后同一样本最后输出的MSE。

## Consistency Regularization

* 这一系列思想都是对于一个输入，即使受到一定干扰，其预测都应该是一致的。
* [[1]](http://papers.nips.cc/paper/5487-learning-with-pseudo-ensembles)中认为对于一个输入，受到扰动后，其所有的中间表示，都应该一致。
* [[2]](https://pdfs.semanticscholar.org/72f8/46c56338841f5e0cd6e1cdf9bb9c13be0d64.pdf)其通过最小化对同一个样本的多次预测差异来达到更好的泛化性能。
* [[3]](https://arxiv.org/abs/1610.02242)同一个输入，在不同的正则和数据增强条件下，网络对其预测应该是一致的。在网络的初始阶段，网络的预测十分不准，所以惩罚项较小。
* [[4]](https://arxiv.org/abs/1703.01780)其除了 consistency 这个思想外，还有“模型成功的关键在于 target 的质量”这个动机。其想法就是，我从当前的模型（Student model），构造出一个比 Student model 更好一些的 Teather model，然后用这个 Teacher model 的预测来训练 Student model（即 consistency regularization）。无监督部分代价是Teacher预测出与Student预测差的L2。Teacher Model 的构建直接使用Student Model的参数移动平均，即$\theta_{t}' = \alpha\theta_{t-1}' + (1-\alpha)\theta_{t}$。=同样$\alpha$也是随训练而逐渐增大的。这相当于使用之前训练出来的模型做ensemble来作为teacher。训练率也和Teacher对于预测的确信程度有关。
* [[5]](https://arxiv.org/abs/1711.00258)看来类似的idea已经有人发过了，CVPR2018，同一个类别的数据特征（分类层前面的中间表示）应该具有一致性。

wuvin

导航

最近发表

友情链接