KNOWLEDGE CONSISTENCY BETWEEN NEURAL NETWORKS AND BEYOND

* TLDR:  输入两个同一个数据集上训练的结构不一定一样的网络，可视化给出两个网络都学到哪些相同的东西。 用NN进行网络间feature的距离度量。

论文想法出发点：对于一个网络，如果我把某一层的 kernel permute 一下，那么这个网络应该是一样的。

如果同样输入，Net A 的某一层 $x_a$ 可以通过简单线性变换到 Net B 的某一层 $x_b$ 上去，那称他们享有0阶相同特征。

如果除了线性变换还需要一层非线性函数才能变到，就称为1阶相同特征。

如下是一个三阶的求解网络，

![title](https://leanote.com/api/file/getImage?fileId=5eda4c80ab64413445000b4f)

![title](https://leanote.com/api/file/getImage?fileId=5eda4cdeab64413445000b51)

具体计算公式，有对不同层的权重衰减。

![title](https://leanote.com/api/file/getImage?fileId=5edb0142ab644132320010df)

相当于使用神经网络进行模型相似度度量。

根据以上结果，进行了一些应用。

这里近似可视化了Weak DNN相对Strong DNN多出来的部分（Unreliable features），Strong 对 Weak 多的部分 (Blind spots).

![title](https://leanote.com/api/file/getImage?fileId=5edb03d7ab64413445001167)

然后做了以下几个实验（我个人觉得并不严谨）： 
1.把 ResNet-34 中间层的 Blind Spots 添加到 AlexNet中，AlexNet 准确率显著增长。
2.把 Weak DNN 最后 feature 层的 Unreliable features 去掉，然后重新训练 FC， 分类准确率上涨一些。

以上两个实验，我个人认为涨点只是因为在变相做知识蒸馏。

接下来，由于这本身是个度量，所以做了些度量常见实验，同网络不同初始化种子，度量训练稳定性。同网络同种子同分布的不同数据，度量训练稳定性。然后度量应用到蒸馏上去对比学习到的内容差异。

改进思路：

1.目前这个 NN 度量不满足 $f(X,Y)=f(Y,X)$， 可以把度量网络对称一下。Conv 改成 Deconv（也就可以借鉴GAN的设计思路）或许更加符合直觉，亦或改成Othogonal 的FC。

wuvin

导航

最近发表

友情链接