L'optimisation bayésienne est une méthode d'optimisation séquentielle basée sur un modèle, qui modélise une fonction de substitution probabiliste \( f \), généralement à l'aide de processus gaussiens (GP), et utilise une fonction d'acquisition \( \alpha \) pour déterminer le prochain point d'évaluation.
La quantification de l'incertitude se fait via la variance \( \sigma^2(x) \) de la prédiction du GP en un point \( x \), qui exprime l'incertitude épistémique du modèle.
Formellement, le prochain point d'évaluation est choisi comme
\[ x^* = \arg\max_x \alpha(x; \mu(x), \sigma(x)) \]
où \( \mu(x) \) et \( \sigma(x) \) sont la moyenne et l'écart-type de la prédiction.
Exemples de fonctions d'acquisition :
La quantification de l'incertitude permet ainsi une recherche efficace dans des espaces de recherche complexes et coûteux.
Définition :
« L'optimisation bayésienne avec quantification de l'incertitude est une méthode d'optimisation itérative qui utilise un modèle probabiliste pour estimer à la fois les prédictions et les incertitudes, et qui exploite ces incertitudes de manière ciblée lors de la sélection de nouveaux points d'évaluation. »
Source :
Snoek, J., Larochelle, H., & Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS).