Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters

# Info

* Conference: ECCV 2020 Oral
* Cites: 1
* Github Stars: 15
* Github Solved/Issue: 1/1
* Author: ![title](https://leanote.com/api/file/getImage?fileId=60a4fab8ab64415da2000b35)

---

# Main Idea

* 这篇文章是什么样的好运气碰到什么样的 Reviewer 能混到 Oral 的？？？
* 文章 Idea 讲的很好，方法很烂（换我就给拒了）
* ![title](https://leanote.com/api/file/getImage?fileId=60a4fb37ab64415fa2000be5)
* 作者希望每个 feature channel 能独立对应一类物品，从而增加可解释性
* 实现方式呢，是用一个可学习的 mask 来解决的，为了可导 mask 是浮点
* ![title](https://leanote.com/api/file/getImage?fileId=60a4fb68ab64415da2000b3a)
* 作者发现直接用 CSG path 学不动，于是正常训练和 CSG path 交替进行
* ![title](https://leanote.com/api/file/getImage?fileId=60a4fb98ab64415fa2000be8)
* 到这，都很正常，但是 mask 如何 train 一个 high sparsity 的 01 矩阵出来呢？
* 接下来的方法就开始扯淡了，先给矩阵增加 L1 loss，再每次迭代后重新归一化（作者还搞错了什么叫矩阵的inf norm）
* ![title](https://leanote.com/api/file/getImage?fileId=60a4fc27ab64415da2000b42)
* 然后 forward 竟然是直接乘上这个矩阵的权重（这种操作实际上只会导致前面系数变小的同时，后面卷积核系数相应变大，在前面系数非常接近0的时候，整个网络loss会直接爆炸）
* ![title](https://leanote.com/api/file/getImage?fileId=60a4fd06ab64415da2000b48)
* 他这样的操作，等效于给网络 channel 上的 Kernel 加统一的 L1 regularization,也就是 Weight Decay.

# Exp

* 不出所料，增大 weight decay 有用的数据集上有用，没用的数据集上没用
* ImageNet 掉 2 个点
* ![title](https://leanote.com/api/file/getImage?fileId=60a4fdd4ab64415da2000b52)
* 后面一些实验确实证明了他学出来的这个 channel 的 channel-wise 稀疏度更高
* ![title](https://leanote.com/api/file/getImage?fileId=60a4ffd6ab64415fa2000c08)

# Comments

* 这篇文章的实验上还是非常完善的，虽然方法非常糟糕，但是实验能证明他们一定程度达成了他们想达成的效果。写文章还是要向这篇文章学习一下。
* 分享这篇文章的主要原因在于，这篇文章给了我一个启发——能不能训练出只依赖于少量 channel 的 kernel，从而达成权重 sparsity 的同时避免 Channel Pruning 的 downsides。
* 以及，训练网络生成 one-hot vector 的最好方式是什么？ 类似于 attention 那种还是什么方式？这种 training methodology 还是可以总结一下。

wuvin

导航

最近发表

友情链接