Optimisation des hyperparamètres expliquée pour les experts

L'optimisation des hyperparamètres (HPO) est le processus de recherche d'un ensemble d'hyperparamètres \( \lambda \in \Lambda \), qui minimisent la performance d'un algorithme d'apprentissage \( A_{\lambda} \) sur une fonction de validation \( L_{val} \) :

\[ \lambda^* = \arg\min_{\lambda \in \Lambda} L_{val}(A_{\lambda}(D_{train})) \]

Ici, \( D_{train} \) désigne le jeu de données d'entraînement et \( \Lambda \) l'espace des hyperparamètres, qui peut contenir des paramètres discrets et continus.

Les méthodes d'optimisation courantes comprennent :

• Grid Search : recherche exhaustive systématique mais coûteuse en calcul.
• Random Search : recherche par échantillonnage, souvent plus efficace en haute dimension.
• Optimisation bayésienne : recherche basée sur un modèle qui explore l'espace de recherche avec des modèles de substitution probabilistes (par ex. processus gaussiens).
• Méthodes basées sur le gradient et méta-apprentissage : approches récentes pour une optimisation adaptative.

L'optimisation des hyperparamètres est essentielle pour améliorer la généralisation et l'efficacité des modèles complexes, en particulier en apprentissage profond.

Définition :
« L'optimisation des hyperparamètres est le processus de recherche systématique des réglages optimaux des paramètres qui ne sont pas appris pendant l'entraînement, afin de maximiser la performance d'un algorithme d'apprentissage sur des données de validation. »

Source :
Feurer, M., & Hutter, F. (2019). Hyperparameter Optimization. In Automated Machine Learning (pp. 3-33). Springer.