La recherche d'architecture neuronale (NAS) désigne le processus automatisé d'optimisation des architectures de réseaux neuronaux au sein d'un espace de recherche défini à l'aide de méthodes de recherche algorithmiques.
Formellement, la NAS peut être décrite comme un problème d'optimisation à deux niveaux :
\[ \min_{\alpha \in \mathcal{A}} \mathcal{L}_{val}(w^{*}(\alpha), \alpha) \quad \text{avec} \quad w^{*}(\alpha) = \arg\min_{w} \mathcal{L}_{train}(w, \alpha) \]
Ici, \( \alpha \) désigne les paramètres d'architecture dans l'espace de recherche \( \mathcal{A} \) et \( w \) les poids du réseau. L'objectif est de trouver l'architecture \( \alpha \) qui minimise la perte sur les données de validation \( \mathcal{L}_{val} \), tandis que les poids \( w^{*} \) sont optimaux pour les données d'entraînement \( \mathcal{L}_{train} \).
Les méthodes NAS incluent la recherche basée sur l'apprentissage par renforcement (par ex. Zoph & Le, 2017), les algorithmes évolutionnaires (Real et al., 2019) et la NAS différentiable comme DARTS (Liu et al., 2019), qui rendent le processus de recherche différentiable.
Ces méthodes ont conduit à des architectures performantes utilisées dans des domaines tels que la classification d'images, le traitement du langage et plus encore.
Définition :
« La recherche d'architecture neuronale est un processus d'optimisation automatisé visant à trouver la structure optimale d'un réseau neuronal au sein d'un espace de recherche afin de maximiser la performance et l'efficacité du modèle. »
Source :
Zoph, B., & Le, Q. V. (2017). Neural Architecture Search with Reinforcement Learning. arXiv preprint arXiv:1611.01578.