L'optimisation bayésienne est une méthode pour optimiser efficacement des fonctions coûteuses ou complexes, dont les évaluations sont onéreuses.
Elle utilise un modèle probabiliste, généralement un processus gaussien, pour estimer la grandeur cible inconnue tout en quantifiant l'incertitude des prédictions.
La quantification de l'incertitude est essentielle pour atteindre un équilibre entre exploration (exploration de zones inconnues) et exploitation (utilisation de solutions connues et performantes).
Des fonctions d'acquisition typiques comme l'amélioration attendue (Expected Improvement, EI) ou la borne supérieure de confiance (Upper Confidence Bound, UCB) utilisent ces incertitudes pour sélectionner de manière ciblée de nouveaux points prometteurs ou contribuant à la réduction de l'incertitude.
Cette méthode est fréquemment utilisée pour l'optimisation d'hyperparamètres, la robotique et les sciences des matériaux, où l'évaluation est coûteuse ou chronophage.