什么是NAS

2016年,Google发表论文NeuralArchitecture Search with Reinforcement Learning,他们使用强化学习进行神经网络结构搜索(NAS),并在图像分类和语言建模任务上超越了此前手工设计的网络。

NAS是给定模型结构 搜索空间的 搜索算法。这个搜索算法不可能通过枚举模型结构来分别训练解决,而是用一种更有效的启发式的搜索算法,这种算法就是后面会提起的贝叶斯优化、增强学习、进化算法等。
举一个例子:
我们规定模型必须是一个三层的全联接神经网络(一个输入层、一个隐层、一个输出层)隐层可以有不同的激活函数和节点,比如现在激活函数子啊sigmoid和relu选一个、节点在10、20、30选一个。那么搜索空间就是「relu, sigmoid」* [10,20,30]
z总共6种。

什么是ENAS

ENAS也是一种NAS实现,因此也是需要人类先给出基本的网络结构搜索空间,这也是目前ENAS的一种限制,ENAS需要人类给出生成的网络模型的节点数,我们也可以理解为层数
ENAS的关键是参数共享,即不同模型结构共享参数

这个可能不常见 在后面的近年来网络机构发展可以稍微提一下。

Logo

CSDN联合极客时间,共同打造面向开发者的精品内容学习社区,助力成长!

更多推荐