Few-shot Neural Architecture Search

发表时间：2021（ICML 2021）
文章要点：这篇文章就是在网络结构的准确率和训练速度之间trade off。NAS的逻辑就是搜一个网络结构出来，然后就测这个结构在数据集上train出来准确率能到多少，然后基于之前的结构和准确率再接着搜下一个网络。这里面如果每次都要重新train网络的话就会很慢，于是就有了one-shot NAS。one-shot NAS思路就是我先train一个supernetwork,然后之后搜索出来的网络结构通过这个supernetwork来预测，具体就是mask掉一些边来变成那个搜出来的网络结构，然后得出准确率。虽然免去了训练的开销，但是这个显然是非常不准确的（co-adaption）。然后这篇文章就说，那我们就搞个few-shot NAS，train多个supernetwork来做这个事情（In this paper, we propose few-shot NAS that uses multiple supernetworks, called sub-supernet, each covering different regions of the search space to alleviate the undesired co-adaption）。
总结：这篇文章感觉就是疯狂做实验。
疑问：其实有一个问题一直没想明白，如果supernetwork可以拿来预测各种结构的准确率，而且速度也快的话，为啥不直接把这些结构都遍历一遍直接用supernetwork来预测了，还NAS干啥？我看文章中这个搜索空间一共就1296个结构，遍历一遍应该没问题吧。如果以后真的有很大的搜索空间，不能遍历的话，感觉要train这个supernetwork好像也不现实啊。有点矛盾的感觉。