DARTS+: Improved Differentiable Architecture Search with Early Stopping

Info

• Conference: Arxiv
• Cites: 9
• Github Stars: -- (paper said it's only need to change few lines of DARTS)
• Github Solved/Issue: --
• Author:

Main Idea

• Darts + Early Stop
• After training for a while, Darts will generate too many skip connections which leads to bad performance.
• 
• They stop seaching when a sub-block has 2 more skip-connections
• 

Comments

• Actually I think this is the same problem as Fair-Nas mentioned before. When early layers learned to discriminate the features, skip connection in late layer will have nice performance than not well trained conv block.

GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet

Info

• Conference: CVPR 2020
• Cites: 0
• Github Stars: --
• Github Solved/Issue: --
• Author:

Main Idea

• Uniform sampling in NAS is inefficient.
• First use uniform sampling train for 10K iterations, then use a greedy method that sample $m$ path and keep the best(best on val) $k$ path in pool, sample path in pool with more probability.
• 
• 
• 

ONCE-FOR-ALL: TRAIN ONE NETWORK AND SPECIALIZE IT FOR EFFICIENT DEPLOYMENT

• 用KD做NAS，从母网络定向裁剪出子网络。

• 1200 GPU hour

• 支持不同分辨率，不同深度，不同宽度，不同kernel大小的定制。

• 分辨率上非常糙，也就是训练的时候，简单缩放一下。

• 所有子网络的 forward 和 backward 和 权重 是共享的。

优势：

• 比以往的NAS效果好了一点
• 高度定制化的网络要求，在实际部署上，效果非常好

Random Search and Reproducibility for Neural Architecture Search

• 这是一篇打脸的文章， 就说现在很多NAS算法比不过随机搜索，还有很多无法复现。
• 本文复现了大量2019及之前的NAS paper，并对于随即搜索进行了比较。
• 本文有助于了解，目前哪些NAS是有效的。

可复现性问题

文章小总结

• 在超参数搜索上，很少有算法能有效超过两倍时间的随机搜索
• 
• ProxylessNAS 真实有效

ProxylessNAS

• 搜索时间 200 GPU hour.

• 基础结构参考自 MoblieNet.

• 每次按概率采样一条路径搜索训练。

• 实际操作的时候会选择两条路径，每次梯度回传会增大一条路径概率，减小另一条。
  

• 把forward延迟也作为Loss的一项

Fair NAS

• One-Shot NAS中初期训练如果训练不当，一部分稍差的网络结构由于没有训练好，所以被选到的概率就更小了，造成恶性循环。
• 超网的每单次迭代让每一层可选择运算模块的参数都要得到训练
• 通过不放回采样的方式，保证训练均匀。
• 
  

(ICLR 2019) DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH

• 使得神经网络搜索可微（之前都是evolution or reinforcement learning），从而大幅降低搜索时间。
• Idea: 把离散的操作变成按概率