La optimización bayesiana es un enfoque iterativo y probabilístico para minimizar una función desconocida f: X → ℝ, que es costosa de evaluar.
El método modela f mediante un Proceso Gaussiano (GP) como modelo sustituto, que proporciona para cada punto x ∈ X una distribución normal con media μ(x) y varianza σ²(x).
La selección del siguiente punto de evaluación x_{n+1} se realiza mediante la maximización de una función de adquisición α(x; D_n), basada en los datos previos D_n = {(x_i, y_i)}.
Por ejemplo, la Mejora Esperada (EI) se define como:
EI(x) = 𝔼[max(0, f_{best} - f(x))]
donde f_{best} es el mejor valor observado hasta ahora.
Mediante la actualización iterativa del modelo GP y la elección dirigida de x_{n+1}, las evaluaciones se utilizan de manera eficiente para encontrar el óptimo de f.
Definición:
La optimización bayesiana es un método probabilístico de optimización que, mediante un modelo sustituto y una función de adquisición, optimiza globalmente de forma eficiente funciones black-box costosas.
Fuente:
Shahriari, B., Swersky, K., Wang, Z., Adams, R. P., & de Freitas, N. (2016). Taking the Human Out of the Loop: A Review of Bayesian Optimization. Proceedings of the IEEE, 104(1), 148-175.