La optimización bayesiana es un método para la optimización global de funciones costosas y de caja negra, en las que las derivadas no están disponibles.
Combina un modelo sustituto probabilístico, generalmente un Proceso Gaussiano (GP), con una función de adquisición que determina qué puntos de entrada se seleccionan a continuación para evaluar la función.
El modelo sustituto aproxima la función objetivo desconocida y proporciona estimaciones de incertidumbre que se utilizan para maximizar la ganancia de información.
La función de adquisición equilibra la exploración (explorar áreas desconocidas) y la explotación (utilizar áreas conocidas como buenas), por ejemplo, mediante Expected Improvement o Upper Confidence Bound.
La optimización bayesiana es especialmente adecuada para aplicaciones como el ajuste de hiperparámetros de modelos de aprendizaje automático o procesos de diseño experimental, donde las evaluaciones son costosas.