NAS

# ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT

* 用KD做NAS，从母网络定向裁剪出子网络。
* 1200 GPU hour

* 支持不同分辨率，不同深度，不同宽度，不同kernel大小的定制。
* 分辨率上非常糙，也就是训练的时候，简单缩放一下。

![title](https://leanote.com/api/file/getImage?fileId=5edf020cab64412c360004d1)
![title](https://leanote.com/api/file/getImage?fileId=5edf027eab64412a380004de)

* 所有子网络的 forward 和 backward 和 权重 是共享的。

![title](https://leanote.com/api/file/getImage?fileId=5edf0387ab64412a380004f1)

![title](https://leanote.com/api/file/getImage?fileId=5edf1ae6ab64412c360005e4)

## 优势：
* 比以往的NAS效果好了一点
* 高度定制化的网络要求，在实际部署上，效果非常好

# Random Search and Reproducibility for Neural Architecture Search

* 这是一篇打脸的文章， 就说现在很多NAS算法比不过随机搜索，还有很多无法复现。
* 本文复现了大量2019及之前的NAS paper，并对于随即搜索进行了比较。
* 本文有助于了解，目前哪些NAS是有效的。

## 可复现性问题

![title](https://leanote.com/api/file/getImage?fileId=5ee047fcab64412a38001f52)

![title](https://leanote.com/api/file/getImage?fileId=5ee04a30ab64412c3600202c)

## 文章小总结

* 在超参数搜索上，很少有算法能有效超过两倍时间的随机搜索
* ![hyperband](https://leanote.com/api/file/getImage?fileId=5ee04c2fab64412a38001f88)
* ProxylessNAS 真实有效

# ProxylessNAS

* 搜索时间 200 GPU hour.
* 基础结构参考自 MoblieNet.

* 每次按概率采样一条路径搜索训练。
* 实际操作的时候会选择两条路径，每次梯度回传会增大一条路径概率，减小另一条。
![title](https://leanote.com/api/file/getImage?fileId=5ee04f44ab64412a38001fab)

* 把forward延迟也作为Loss的一项

![title](https://leanote.com/api/file/getImage?fileId=5ee04fa0ab64412c36002073)

# Fair NAS

* One-Shot NAS中初期训练如果训练不当，一部分稍差的网络结构由于没有训练好，所以被选到的概率就更小了，造成恶性循环。
* 超网的每单次迭代让每一层可选择运算模块的参数都要得到训练
* 通过不放回采样的方式，保证训练均匀。
* ![title](https://leanote.com/api/file/getImage?fileId=5ee0d7bfab64412c3600267b)
![title](https://leanote.com/api/file/getImage?fileId=5ee0d7e8ab64412a380025d8)

# (ICLR 2019) DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH

* 使得神经网络搜索可微（之前都是evolution or reinforcement learning），从而大幅降低搜索时间。
* Idea: 把离散的操作变成按概率$\alpha$加权
* ![title](https://leanote.com/api/file/getImage?fileId=5ee19453ab644168ab000455)
* 对于优化$\alpha$和网络权重的bilevel optimization problem，使用迭代求解。
* ![title](https://leanote.com/api/file/getImage?fileId=5ee1948aab644168ab000458)
* 于是有对导数的估计
* ![title](https://leanote.com/api/file/getImage?fileId=5ee194b5ab64416aa7000434)
* 然后就可导求解啦
* ![title](https://leanote.com/api/file/getImage?fileId=5ee1955aab644168ab000468)

# FTT-NAS: Discovering Fault-Tolerant Neural Architecture

* NAS找一个高容错的网络
* 文中高容错：bit-flip：在feature map的计算结果中，整体加一个bias，模拟某一位二进制翻转。还有 Gaussian noise，  Salt-and-Pepper noise。
* 文章起始idea不错，但是做的很糟糕。全文 adversarial 没出现。

# (CVPR 2020)Blockwisely Supervised Neural Architecture Search with Knowledge Distillation

* 利用KD把网络搜索过程分块，每个块内搜索。这样相比整体子网络搜索和训练，各个子网络的耦合程度更低，训练更高效。但是把，这篇文章除了idea还可以，其他都被Once-For-All dominate.
* ![title](https://leanote.com/api/file/getImage?fileId=5ee82d99ab64416c20001213)
* 效果也就那样吧
* ![title](https://leanote.com/api/file/getImage?fileId=5ee82e19ab64416c20001219)

wuvin

导航

最近发表

友情链接