L'optimisation bayésienne est une méthode d'optimisation globale de fonctions coûteuses en boîte noire, dont les dérivées ne sont pas disponibles.
Elle combine un modèle de substitution probabiliste, généralement un processus gaussien (GP), avec une fonction d'acquisition qui détermine quels points d'entrée sont sélectionnés ensuite pour évaluer la fonction.
Le modèle de substitution approxime la fonction objectif inconnue et fournit des estimations d'incertitude, utilisées pour maximiser le gain d'information.
La fonction d'acquisition équilibre exploration (exploration de zones inconnues) et exploitation (utilisation de zones connues comme bonnes), par exemple via l'amélioration attendue ou la borne supérieure de confiance.
L'optimisation bayésienne est particulièrement adaptée à des applications telles que le réglage des hyperparamètres des modèles d'apprentissage automatique ou les processus de conception expérimentale, où les évaluations sont coûteuses.