L'optimisation bayésienne est une approche itérative et probabiliste d'optimisation pour minimiser une fonction inconnue f : X → ℝ, coûteuse à évaluer.
La méthode modélise f à l'aide d'un processus gaussien (GP) comme modèle de substitution, qui fournit pour chaque point x ∈ X une distribution normale avec une moyenne μ(x) et une variance σ²(x).
La sélection du prochain point d'évaluation x_{n+1} se fait par la maximisation d'une fonction d'acquisition α(x; D_n), basée sur les données précédentes D_n = {(x_i, y_i)}.
Par exemple, l'amélioration attendue (Expected Improvement, EI) se définit comme :
EI(x) = 𝔼[max(0, f_{best} - f(x))]
où f_{best} est la meilleure valeur observée jusqu'à présent.
Grâce à la mise à jour itérative du modèle GP et au choix ciblé de x_{n+1}, les évaluations sont utilisées efficacement pour trouver l'optimum de f.
Définition :
L'optimisation bayésienne est une méthode d'optimisation probabiliste qui, à l'aide d'un modèle de substitution et d'une fonction d'acquisition, optimise globalement de manière efficace des fonctions black-box coûteuses.
Source :
Shahriari, B., Swersky, K., Wang, Z., Adams, R. P., & de Freitas, N. (2016). Taking the Human Out of the Loop: A Review of Bayesian Optimization. Proceedings of the IEEE, 104(1), 148-175.