La Búsqueda de Arquitectura Neuronal (NAS) se refiere al proceso automatizado de optimización de arquitecturas de redes neuronales dentro de un espacio de búsqueda definido mediante métodos algorítmicos de búsqueda.
Formalmente, NAS puede describirse como un problema de optimización de dos niveles:
\[ \min_{\alpha \in \mathcal{A}} \mathcal{L}_{val}(w^{*}(\alpha), \alpha) \quad \text{con} \quad w^{*}(\alpha) = \arg\min_{w} \mathcal{L}_{train}(w, \alpha) \]
Aquí, \( \alpha \) denota los parámetros de la arquitectura en el espacio de búsqueda \( \mathcal{A} \) y \( w \) los pesos de la red. El objetivo es encontrar la arquitectura \( \alpha \) que minimice la pérdida en los datos de validación \( \mathcal{L}_{val} \), mientras que los pesos \( w^{*} \) están óptimamente entrenados en los datos de entrenamiento \( \mathcal{L}_{train} \).
Los métodos NAS incluyen búsqueda basada en aprendizaje por refuerzo (p. ej., Zoph & Le, 2017), algoritmos evolutivos (Real et al., 2019) y NAS diferenciable como DARTS (Liu et al., 2019), que hacen que el proceso de búsqueda sea diferenciable.
Estos métodos han conducido a arquitecturas potentes que se utilizan en áreas como clasificación de imágenes, procesamiento del lenguaje y más.
Definición:
«La Búsqueda de Arquitectura Neuronal es un proceso automatizado de optimización que tiene como objetivo encontrar la estructura óptima de una red neuronal dentro de un espacio de búsqueda para maximizar el rendimiento y la eficiencia del modelo.»
Fuente:
Zoph, B., & Le, Q. V. (2017). Neural Architecture Search with Reinforcement Learning. arXiv preprint arXiv:1611.01578.