L'optimisation des hyperparamètres désigne le processus par lequel les paramètres d'un modèle sont réglés, ceux-ci ne devant pas être appris pendant l'entraînement, mais fixés à l'avance.
Ces hyperparamètres influencent de manière significative la performance et le comportement des modèles, tels que le taux d'apprentissage, le nombre de couches ou la force de régularisation.
Les méthodes typiques d'optimisation sont la recherche en grille (Grid Search), la recherche aléatoire (Random Search) ou l'optimisation bayésienne.
Un espace de recherche est défini et des combinaisons sont systématiquement explorées pour améliorer le modèle sur des données de validation.
Une optimisation efficace des hyperparamètres est essentielle pour adapter au mieux les modèles aux données et éviter le surapprentissage.