wuvin
Always take risks!
Toggle navigation
wuvin
主页
实验室的搬砖生活
机器学习
公开的学术内容
公开的其他内容
About Me
归档
标签
友情链接
ZYQN
ihopenot
enigma_aw
hzwer
杨宗翰
SDE-Net解读
2020-11-25 01:40:31
1041
0
0
wuvin
# SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates --- ## Info * Conference: ICML2020 * Cites: 4 * Github Stars: 40 * Github Solved/Issue: 6/8 * Author: ![title](https://leanote.com/api/file/getImage?fileId=5fbd4a47ab64410f1d000aa6)![title](https://leanote.com/api/file/getImage?fileId=5fbd4a50ab64410cea000928) --- ## Main Idea * 把 ResNet 看成一个物理系统,并且认为演化过程具有不确定性,然后使用一个神经网络来估计这个不确定性。 * ![title](https://leanote.com/api/file/getImage?fileId=5fbd4a89ab6441529e000002) * ![title](https://leanote.com/api/file/getImage?fileId=5fbd4a94ab6441529e000003) * 这里 $W_t$ 对应了布朗运动。 * ![title](https://leanote.com/api/file/getImage?fileId=5fbd4ab5ab644154a0000001) * ![title](https://leanote.com/api/file/getImage?fileId=5fbd4abdab644154a0000002) * 训练loss 其实非常trivial, Out of Domain data 是作者自己生成的(通过加noise 之类的随便造)。 * Training 过程其实就中间的梯度更新函数多了个g。然后作者在这里做了一个非常强的假设,也就是网络所有层的g值都是一样的,只取决于输入的 $x_0$。 * ![title](https://leanote.com/api/file/getImage?fileId=5fbd4b0eab644154a0000003) ## Result * 实验结果其实不咋地,只在digit上做了实验。 * ![title](https://leanote.com/api/file/getImage?fileId=5fbd4b72ab644154a0000004) ## Inspiration * 把 ResNet 看成物理系统的理解还挺有意思,但是实验结果确实不咋地。 * 同时train In Domain Data 和 Out of Domain Data 还不错。
上一篇:
Predictive Uncertainty Estimation via Prior Networks
下一篇:
HRNet 解读
0
赞
1041 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
提交评论
立即登录
, 发表评论.
没有帐号?
立即注册
0
条评论
More...
文档导航
没有帐号? 立即注册