paper reading 可解释性

# Axiomatic Attribution for Deep Networks

这是一篇讲归因的文章，这篇文章对于归因提出了一下要求：

> 对于预测无关部分，归因为 $0$
> 与baseline（如全黑图片）由于某部分输出不同，这部分归因不为零。

方法上，首先baseline 应该为0，然后积分就行。

![title](https://leanote.com/api/file/getImage?fileId=5ed99cb8ab64413232000349)

效果

![title](https://leanote.com/api/file/getImage?fileId=5ed99af1ab64413232000338)

但是这篇文章有几个问题，第一baseline不一定是全黑的图片，全黑也有全黑的信息，不然图上本来黑的部分，就没有任何信息了。第二这个积分公式也过于简陋了吧，图片样本空间真的是直线吗，是不是应该还有一项与样本空间相关的系数（这里默认为1），这个积分结果可能并不满足对于积分路径的不变性。
第三，这个相对积分的方法是否可以用于 adverserial attack 的解释。

# A Benchmark for Interpretability Methods in Deep Neural Networks

这篇文章挺有意思

![title](https://leanote.com/api/file/getImage?fileId=5ed9a376ab6441323200038c)

这里他的 Benchmark 叫 ROAR。简单来说就是根据可解释性模型给出的重要程度分布，去掉图片中重要的$x\%$，然后再重新训练整个模型，以此评估这个重要程度分布是否准确，重训的模型掉点越多，说明选择越正确。

而且自带一个可视化类综述

![title](https://leanote.com/api/file/getImage?fileId=5ed9a4faab6441323200039f)
![title](https://leanote.com/api/file/getImage?fileId=5ed9a6e0ab644134450003be)
![title](https://leanote.com/api/file/getImage?fileId=5ed9a50bab644132320003a2)

本次实验的空白对照

![title](https://leanote.com/api/file/getImage?fileId=5ed9a559ab6441344500039c)

开始对比

![title](https://leanote.com/api/file/getImage?fileId=5ed9a599ab644134450003a2)
![title](https://leanote.com/api/file/getImage?fileId=5ed9a64bab644134450003b1)

这篇文章几个问题，第一需要去掉足够多的特征，准确度才会有所下降。所以相对随机到处乱擦，IG之类去掉的重要部分不一定是必要部分，所以掉点可能很少（重训的模型可能会找新的特征）。
Reviewer也题出了一下问题，ROAR到底在measure什么？ROAR会让一个预测偏了的解释得低分吗？ROAR的评估得分真的是可靠的吗？ROAR是否能有效比较不同解释的效果？不同风格的解释方法可能有差不多的效果，但是会有完全不同的ROAR得分。

wuvin

导航

最近发表

友情链接