神经架构搜索（NAS）指的是在定义的搜索空间内，通过算法搜索方法自动优化神经网络架构的过程。
形式上，NAS可以描述为一个双层优化问题：
\[ \min_{\alpha \in \mathcal{A}} \mathcal{L}_{val}(w^{*}(\alpha), \alpha) \quad \text{mit} \quad w^{*}(\alpha) = \arg\min_{w} \mathcal{L}_{train}(w, \alpha) \]
其中，\( \alpha \) 表示搜索空间 \( \mathcal{A} \) 中的架构参数，\( w \) 表示网络权重。目标是找到在验证数据上使 \( \mathcal{L}_{val} \) 最小的架构 \( \alpha \)，同时权重 \( w^{*} \) 在训练数据 \( \mathcal{L}_{train} \) 上被最优训练。
NAS方法包括基于强化学习的搜索（例如 Zoph & Le, 2017）、进化算法（Real et al., 2019）以及可微分NAS如DARTS（Liu et al., 2019），使搜索过程可微分。
这些方法催生了在图像分类、语音处理等领域广泛应用的高性能架构。
定义：
“神经架构搜索是一种自动化优化过程，旨在在搜索空间内找到神经网络的最优结构，以最大化模型的性能和效率。”
来源：
Zoph, B., & Le, Q. V. (2017). Neural Architecture Search with Reinforcement Learning. arXiv preprint arXiv:1611.01578.