机器之心从800个GPU训练几十天到单个GPU几小时，看神经架构搜索如何进化( 三 )
通过对搜索空间求微分和训练更大的网络（通常称为「超级网络」） ， 我们不再需要训练多个架构 ， 并且可以使用标准梯度下降优化器 。 NAS 的可微性为未来发展开辟了许多可能性 。 其中一个例子是 NAS 中的可微分采样 [9] ， 由于每个前向传播和反向传播在搜索中需要使用的操作减少 ， 因此该方法将搜索时间缩短到只要 4 个小时 。
【机器之心从800个GPU训练几十天到单个GPU几小时，看神经架构搜索如何进化】 结语
NAS 训练时间如何从多天缩短到几个小时的故事先到此为止吧 。 在这篇文章中 ， 我试图概述驱动 NAS 发展的最重要想法 。 现在 ， NAS 技术已经足够高效 ， 任何有 GPU 的人都可以使用它 ， 你还在等什么？
参考文献：
[1] https://arxiv.org/pdf/1807.11626.pdf
[2] Self Organizing Neural Networks for the Identification Problem (https://papers.nips.cc/paper/149-self-organizing-neural-networks-for-the-identification-problem.pdf)
[3] https://arxiv.org/pdf/1611.01578.pdf
[4] https://arxiv.org/pdf/1512.03385.pdf
[5] https://arxiv.org/pdf/1707.07012.pdf
[6] https://arxiv.org/pdf/1802.03268.pdf
[7] https://arxiv.org/pdf/1604.02201.pdf
[8] https://arxiv.org/pdf/1806.09055.pdf
[9] https://arxiv.org/pdf/1910.04465.pdf
原文链接：https://medium.com/peltarion/how-nas-was-improved-from-days-to-hours-in-search-time-a238c330cd49
本文为机器之心编译 ， 转载请联系本公众号获得授权 。
------------------------------------------------
推荐阅读
- 机器人|深圳机器人产业产值1257亿元
- |《5G技术助力国产机器人完成全球首场骨科实时远程手术》公示材料
- 美军事进行时|五角大楼研制挖隧道的蚯蚓机器人为地面部队提供安全补给
- cnBetaTB|看机器人如何制作出既有颜值又美味的蛋饼
- 山东伟豪思|袋料全自动拆垛机器人的使用给企业带来了哪些益处
- 无人机这两项机器人发明，就是东京大学进军外卖界的野心！？
- 搜狐新闻|【复材资讯】碳纤维机器人手臂设计需要考虑的要素
- SILVER六足龙虾机器人成海底“清洁工”，可下潜200米续航16小时
- 新智元|机器学习团队常用工具总结，人生苦短，我用Python！
- 机器人5G+AI助力科技抗疫 各路机器人大显身手