北京那个医院看白癜风看的好 https://wapjbk.39.net/yiyuanzaixian/bjzkbdfyy/xcxbdf/
神经架构搜索可以降低深度学习的门槛，有助于研究人员和从业人员更容易地使用深度学习。本文对现有神经架构搜索方法做了统一、分类和对比，还做了详细的分析。本文讨论了常见搜索空间以及基于强化学习原理和进化算法的常用架构优化算法，还有结合了代理模型和one-shot模型的方法。研究人员对机器学习和深度学习自动化兴趣的日益增长，促进了神经架构优化的自动化方法的发展。网络架构的选择至关重要，深度学习中的诸多进展也源于它的即时改进。但深度学习技术是计算密集型，而且应用深度学习需要较高的领域相关相关知识。因此，即便这一过程只有部分是自动化的，也有助于研究人员和从业人员更容易地使用深度学习。这篇文章对现有方法做了统一和分类，并对比了不同的方法，还做了详细的分析。本文讨论了常见搜索空间以及基于强化学习原理和进化算法的常用架构优化算法，还有结合了代理模型和一次性（one-shot）模型的方法。此外，本文还讨论了约束、多目标架构搜索、自动数据增强、优化器以及激活函数搜索等新的研究方向。引言在过去的两年中，机器学习领域一直在研究自动化搜索过程。可以这么说，Zoph和Le的工作（）是这项研究工作开始的标志，他们的工作证明强化学习算法可以发现好的架构。此后不久，Realetal.（）表示，研究至今的神经进化方法（Floreanoetal.，）也可以得到类似的结果。但这两种搜索方法都要用GPU运行几千小时。因此，后续工作都试图降低这种计算负担。沿着这条思路，许多成功的算法都利用了重用已经学习好的模型参数的原则，其中最令人瞩目的是Caietal.（a）和Phametal.（）的工作。Caietal.（a）提出可以从一个简单的架构开始搜索，通过功能保留的操作逐步增加搜索的宽度和深度。现在更流行也更快的搜索方法是Phametal.（）提出的，他们构造了包含搜索空间中所有架构的过参数化架构。在算法的每一个时间步上，都会对这个大型架构中的一小部分进行采样和训练。训练完成后，抽样得到的架构可以共享训练权重，这样就可以将搜索的工作量减少到和训练单个架构差不多的水平。搜索空间的设计构成了神经架构搜索的另一个重要组成部分。除了加快搜索过程外，这还会影响搜索的持续时间和搜索得到的解决方案的质量。在神经架构搜索的早期工作中，设计空间主要是为了搜索顺序架构的。但随着手工构建的分支架构已经在性能上超越了传统网络，因此刚发表不久后就提出了合适的搜索空间，并且这些空间已经成为了该领域的规范（Zophetal.，）。在这些工作取得进展的同时，研究人员拓宽了神经架构搜索的视野，希望神经架构搜索可以减少搜索时间，降低发现架构的泛化误差。可以同时处理多个目标函数的方法开始进入人们的视野。这方面值得注意的工作包括为了将模型部署在移动设备上，试着限制模型参数数量（Tanetal.，；Kimetal.，）或其他部分。此外，已经开发的架构搜索技术也已经扩展到深度学习其他相关组件的高级自动化上了。例如，激活函数的搜索（Ramachandranetal.，）以及合适的数据增强（Cubuketal.，a）。目前，以神经架构搜索的形式实现深度学习自动化是机器学习领域发展最快的方向之一。每周在arXiv.org(

转载请注明:http://www.aideyishus.com/lkyy/5887.html