La optimización bayesiana es un procedimiento secuencial de optimización basado en modelos que modela una función sustituta probabilística \( f \), generalmente mediante procesos gaussianos (GP), y utiliza una función de adquisición \( \alpha \) para determinar el siguiente punto de evaluación.
La cuantificación de la incertidumbre se realiza a través de la varianza \( \sigma^2(x) \) de la predicción del GP en un punto \( x \), que expresa la incertidumbre epistémica del modelo.
Formalmente, el siguiente punto de evaluación se elige como
\[ x^* = \arg\max_x \alpha(x; \mu(x), \sigma(x)) \]
donde \( \mu(x) \) y \( \sigma(x) \) son el valor esperado y la desviación estándar de la predicción.
Ejemplos de funciones de adquisición son:
La cuantificación de la incertidumbre permite así una búsqueda eficiente en espacios de búsqueda complejos y costosos.
Definición:
«La optimización bayesiana con cuantificación de incertidumbre es un procedimiento iterativo de optimización que utiliza un modelo probabilístico para estimar tanto predicciones como incertidumbres, y emplea estas incertidumbres de forma dirigida en la selección de nuevos puntos de evaluación.»
Fuente:
Snoek, J., Larochelle, H., & Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS).