Neuronale Architektur-Suche (NAS) bezeichnet den automatisierten Prozess der Optimierung von neuronalen Netzwerkarchitekturen innerhalb eines definierten Suchraums mittels algorithmischer Suchverfahren.
Formell lässt sich NAS als ein bi-level-Optimierungsproblem beschreiben:
\[ \min_{\alpha \in \mathcal{A}} \mathcal{L}_{val}(w^{*}(\alpha), \alpha) \quad \text{mit} \quad w^{*}(\alpha) = \arg\min_{w} \mathcal{L}_{train}(w, \alpha) \]
Hierbei bezeichnet \( \alpha \) die Architekturparameter im Suchraum \( \mathcal{A} \) und \( w \) die Gewichte des Netzwerks. Ziel ist, die Architektur \( \alpha \) zu finden, die auf Validierungsdaten \( \mathcal{L}_{val} \) minimiert, wobei die Gewichte \( w^{*} \) optimal auf Trainingsdaten \( \mathcal{L}_{train} \) trainiert sind.
NAS-Methoden umfassen Reinforcement-Learning-basierte Suche (z.B. Zoph & Le, 2017), evolutionäre Algorithmen (Real et al., 2019) und differentiable NAS wie DARTS (Liu et al., 2019), die den Suchprozess differenzierbar gestalten.
Diese Verfahren haben zu leistungsfähigen Architekturen geführt, die in Bereichen wie Bildklassifikation, Sprachverarbeitung und mehr eingesetzt werden.
Definition:
„Neuronale Architektur-Suche ist ein automatisierter Optimierungsprozess, der darauf abzielt, die optimale Struktur eines neuronalen Netzes innerhalb eines Suchraums zu finden, um die Leistungsfähigkeit und Effizienz des Modells zu maximieren.“
Quelle:
Zoph, B., & Le, Q. V. (2017). Neural Architecture Search with Reinforcement Learning. arXiv preprint arXiv:1611.01578.