Rethinking Performance Estimation in Neural Architecture Search

# Rethinking Performance Estimation in Neural Architecture Search

---

## Info

* Conference: CVPR 2020
* Cites: 3
* Github Stars: 139
* Github Solved/Issue: 13/13
* Author: ![title](https://leanote.com/api/file/getImage?fileId=60138ee2ab644150e8000162)

---

## Main Idea

* 发现在做NAS的时候，主要时间不是花在搜索策略上，而是花在对于搜出来的子网络的验证上。
* 多数NAS都是分为在数据集1上搜索结构，在数据集2重新训练上验证结构的最终Acc，其中第二部分占了大量的时间。
* ![title](https://leanote.com/api/file/getImage?fileId=60138f84ab64414eef000128)
* 这篇文章就是加速验证过程。
* 一般这里我们会这么加速验证过程？正常人是减少重训的Epoch数量，增大学习率，增大BatchSize。这样只是人工选择的加快验证的方法。
* 这篇文章直接Sample出几百组验证时用的超参数（Epoch,LR,etc.），以及一些网络结构，然后看哪些超参数训练出来的网络结构的Acc排序的顺序 接近与 训练这些网络结构很久得到的Acc排序的顺序。
* ![title](https://leanote.com/api/file/getImage?fileId=601390a8ab64414eef000129)
* 上面这一步需要的时间很长，但是找完一劳永逸。
* ![title](https://leanote.com/api/file/getImage?fileId=601390caab64414eef00012a)
* 这就是找到的两个验证时用的超参数组何，相对于DARTS的默认超参数组何，可靠性更高（$r_s$ 跟长时间训练完的排序相关性更高），验证时需要的训练时间更短（Training Time 更小）。

## Results

* 由于验证速度更快，所以NAS搜索算法能搜的组何就更多。
* ![title](https://leanote.com/api/file/getImage?fileId=60139150ab644150e8000163)
* ![title](https://leanote.com/api/file/getImage?fileId=60139217ab644150e8000164)
* 看完不得不觉得，随机搜索+快速验证真的强

## Comments

* 想法很简单，很常见，甚至平时都不会想到在这个上面做研究，都是随手调的。实验很扎实，结果很有说服力。
* 但是对于最近出现的 OneStage 的 NAS （即搜索和验证是一起的）就没有用了。

wuvin

导航

最近发表

友情链接