Weight Uncertainty in Neural Networks

# Weight Uncertainty in Neural Networks

* Network Uncertainty 方向非常经典的一篇文章，同时也是贝叶斯神经网络奠基作之一， 1100+ 次引用
* 用Bayes衡量模型参数的不确定度

# Main Idea

* 网络权重不再是一个单个的值，而是一个数值分布。（文中假设为高斯分布）
* 那么 $P(y | x, w)$ 就是特定权重分布，特定输入下输出的分布。
* 那么网络权重需要最大化的就是 MLE。（这个可以通过正常BP求解）
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3c684ab644157c8000302)
* 如果我们对于上面的 $w$ 添加一个正则项，相当于是默认有个后验分布
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3c720ab644157c8000304)
* 然而这样没法求，于是通过变分推断求解，用 $q$ 逼近 $P$。
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3c888ab644155b1000410)
* 要优化的就是
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3cb78ab644157c8000315)
* 对于这个式子进行类似于 VAE 的重参数化与蒙特卡洛采样后，
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3cd69ab644157c8000317)
* 对 $w$ 作一个高斯的假设后，毕竟解的代码就是
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3cfdeab644155b100041e)
* 文中一些其他的trick
* 单纯高斯分布太弱了，加强一下得到混合尺度高斯先验分布
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3d08cab644157c800031f)
* 同样贝叶斯BP也可以有 Batch

# Results

* 做普通的 Classification 的效果
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3d10aab644157c8000321)
* 同样贝叶斯网络也能 pruning, 但是是按照信噪比 pruning 的
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3d1a5ab644157c8000322)
* 简单回归任务下，贝叶斯神经网络与普通NN的结果区别
* ![title](https://leanote.com/api/file/getImage?fileId=5fc3d20fab644155b1000420)

# Inspirations

* 这篇文章15年，估计无论有什么 inspiration 都早被大家实现过了
* 贝叶斯网络能蒸馏吗？
* 贝叶斯网络能量化吗？
* 贝叶斯网络能做 Domain Adapation 吗？
* 能在GAN上用贝叶斯网络吗？输出一个图片分布

wuvin

导航

最近发表

友情链接