2020-11-30 01:03:29    0    0    0

Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

  • 这是对神经网络输出的不确定估计经典方法。
  • 引用2800+次。

Main Idea

  • 本文证明了,对于任意神经网络,每一层之前加入 Dropout,等价于对于高斯分布的贝叶斯神经网络的

Result

Inspiration

  • 同样是篇经典老文章了,所以 inspiration 估计都有人做了。
  • Dropout 还能这样用,真的是在我想象之外了。不过感觉挺实用的。
2020-11-29 23:55:16    0    0    0

Weight Uncertainty in Neural Networks

  • Network Uncertainty 方向非常经典的一篇文章,同时也是贝叶斯神经网络奠基作之一, 1100+ 次引用
  • 用Bayes衡量模型参数的不确定度

Main Idea

  • 网络权重不再是一个单个的值,而是一个数值分布。(文中假设为高斯分布)
  • 那么 P(y|x,w) 就是特定权重分布,特定输入下输出的分布。
  • 那么网络权重需要最大化的就是 MLE。(这个可以通过正常BP求解)
  • title
  • 如果我们对于上面的 w 添加一个正则项,相当于是默认有个后验分布
  • title
  • 然而这样没法求,于是通过变分推断求解,用 q 逼近 P
  • title
  • 要优化的就是
  • title
  • 对于这个式子进行类似于 VAE 的重参数化与蒙特卡洛采样后,
  • title
  • w 作一个高斯的假设后,毕竟解的代码就是
  • title
  • 文中一些其他的trick
  • 单纯高斯分布太弱了,加强一下得到混合尺度高斯先验分布
  • title
  • 同样贝叶斯BP也可以有 Batch

Results

  • 做普通的 Classification 的效果
  • title
  • 同样贝叶斯网络也能 pruning, 但是是按照信噪比 pruning 的
  • title
  • 简单回归任务下,贝叶斯神经网络与普通NN的结果区别
  • title

Inspirations

  • 这篇文章15年,估计无论有什么 inspiration 都早被大家实现过了
  • 贝叶斯网络能蒸馏吗?
  • 贝叶斯网络能量化吗?
  • 贝叶斯网络能做 Domain Adapation 吗?
  • 能在GAN上用贝叶斯网络吗?输
2020-11-27 10:39:51    144    0    0

Casual and Learning

Domain Adapation as a Problem of Inference on Graphical Models

  • 把 Domain Adapation 看成贝叶斯因果图上的点。
  • title
  • 测试的 MNIST-M 有点弱。

Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect

  • 以前的做法:
  • title
  • 这篇文章认为网络处理不均衡的训练数据的问题来自于训练时 Momentum 错误的叠加。
  • *
2020-11-27 10:27:29    150    0    0

DEEP ANOMALY DETECTION WITH OUTLIER EXPOSURE


Info

  • Conference: ICLR 2019
  • Cites: 206
  • Github Stars: 316
  • Github Solved/Issue: 13/13
  • Author: title

Main Idea

  • 这是一篇实验性的文章。
  • 主要说明了,检测 outliers 并不一定要去 outliers 采样,随便采一些效果
2020-11-27 10:21:11    150    0    0

Predictive Uncertainty Estimation via Prior Networks


Info

  • Conference: NIPS2018
  • Cites: 163
  • Github Stars: 5
  • Github Solved/Issue: 0/0
  • Author: title

Main Idea

  • 在这篇文章之前,对于 uncertainty 的逼近都是通过贝叶斯。这篇文章是第一个用神经网络逼近 uncertainty 的。
  • title
  • 因为公式有点多,这篇文章我还没看太懂。
2020-11-25 01:40:31    300    0    0

SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates


Info

  • Conference: ICML2020
  • Cites: 4
  • Github Stars: 40
  • Github Solved/Issue: 6/8
  • Author: titletitle

Main Idea

  • 把 ResNet 看成一个物理系统,并且认为演化过程具有不确定性,然后使用一个神经网络来估计这个不确定性。
  • title
  • title
  • 这里 Wt 对应了布朗运动。
  • title
  • title
  • 训练loss 其实非常trivial, Out of Domain data 是作者自己生成的(通过加noise 之类的随便造)。
  • Training 过程其实就中间的梯度更新函数多了个g。然后作者在这里做了一个非常强的假设,也就是网络所有层的g值都是一样的,只取决于输入的 x0
  • title

Result

  • 实验结果其实不咋地,只在digit上做了实验。
  • title

Inspiration

  • 把 ResNet 看成物理系统的理解还挺有意思,但是实验结果确实不咋地。
  • 同时train In Domain Data 和 Out of Domain Data 还
2020-11-25 01:16:59    311    0    0

Deep High-Resolution Representation Learning for Visual Recognition


Info

  • Conference: TPAMI 2019
  • Cites: 113
  • Github Stars: 1.6k, totally >3k
  • Github Solved/Issue: 97/189
  • Author: titletitle

title

Main Idea

  • 图像分类、图像分割、目标检测、人脸对齐、姿态识别、风格迁移、Image Inpainting、超分、optical flow、Depth estimation、边缘检测等全能多分辨率网络结构。
  • title
  • title
  • 三个feature map 结合方式是相加
  • 特征使用方式
  • title

Result

title

title

Ablation Study 证明高分辨率对于姿态识别很重要。

title

用于分类的效果还是输于正常人手工设计的水准。

Inspirations

  • 多分辨率并行 + DAG 形式的网络结构。 这样的结构上如何科学的做 NAS ?
  • 多个不同分辨率的branch 之间,训练的时候是否能在网络内 Mutual Learning?
Robustness    2020-07-24 10:00:58    331    0    0

Adversarial Examples: Opportunities and Challenges

AE 的来源

  • 过拟合,泛化能力弱。
  • 高维度线性函数对于pertubation非常敏感。

AE 的特征

  • Transferability, 训练在同一任务上的不同模型,容易被同一 AE 攻击。
  • Regularization effect, AE 可以用来提升鲁棒性。
  • Adversarial instability, AE 容易被模糊、旋转、光照变换破坏。

AE 评价指标

  • 成功率,AE 生成的成功率,通常和Linf负相关
  • ML模型鲁棒性,鲁棒模型通常有两个特征——高泛化能力、关于输入的周围一定空间内输出固定
  • Transferability, 有多高比例的生成的AE可以用于攻击其他模型(不同结构,不同训练数据)。
  • matching rate, AE在模型1上target为Y时,模型2上依旧识别出来是Y的概率。transfer rate 与模型本身网络架构、容量、准确率有关,以及pertubation的大小有关。
  • Perturbations,需要多大的修改,通常L2
  • Perceptual adversarial similarity score (PASS), structural similarity (SSIM) index as a metric to measure the similarity between two images. SSIM 包含 luminance, contrast, and structure.

AE 分类

title

AE 经典算法

  • Box-constrained L-BFGS, 最早的方法,把生成问题改为最优化,L2限制
  • FGSM, 错误方向对于输入的梯度取符号×ϵ
  • BIM, 将一次AE
2020-07-16 21:19:23    687    0    0

春研

  • 做好远程春研的准备

出国准备

  • 两到三个国家
  • 两个专业以上

国内保研

  • 同时准备国内导师选择

研究

  • 增加研究面
2020-07-08 10:28:56    435    0    0
  1. Idea 数量取决于读的论文数量。
  2. 快速验证 Idea。
  3. 避免一来直接上比较麻烦的坑(代码量大,训练时间长,迭代周期慢)。
  4. 先查有没有人做过。
  5. 推理思路严谨,实验设计充分

Abstract 怎么写
1. large scope
2. challengy
3. Our solution
4. Contribution, Summary

Intro
1. background
2. why other solution don't work, why our solution works.

Related Work
1. 随便写写
2. 要有条理

Experiments
1. 完善
2. 额外的可以放附录

Discussion
1. 圆故事
2. 可视化
3. 超参敏感性
4. 要写的有意思

Conclusion
1. 别抄 Abstract

找idea
1. 初期避免直接和SOTA竞争
2.

逻辑自洽
自己有哪些改进,为什么能改进,怎么改进,改进是怎么work的