神经架构搜索(NAS)是一种自动化方法,通过优化算法寻找适合神经网络的网络架构。
典型的方法包括强化学习、进化算法或可微架构搜索方法。
搜索空间定义了可能的架构,例如层的数量和类型、连接方式或超参数。
NAS同时优化性能(例如准确率)和效率(例如计算成本),因此能够生成比手工设计架构更优的模型。
一个重要方面是搜索时间与模型质量之间的平衡,因为NAS通常计算量很大,常采用代理模型或权重共享等技术来加速搜索。