Байесовская оптимизация — это итеративный вероятностный подход к оптимизации для минимизации неизвестной функции f: X → ℝ, которую дорого оценивать.
Метод моделирует f с помощью гауссовского процесса (GP) в качестве суррогатной модели, которая для каждой точки x ∈ X предоставляет нормальное распределение с математическим ожиданием μ(x) и дисперсией σ²(x).
Выбор следующей точки оценки x_{n+1} осуществляется путем максимизации функции приобретения α(x; D_n), основанной на имеющихся данных D_n = {(x_i, y_i)}.
Например, ожидаемое улучшение (Expected Improvement, EI) определяется как:
EI(x) = 𝔼[max(0, f_{best} - f(x))]
где f_{best} — лучший наблюдаемый на данный момент результат.
Путем итеративного обновления модели GP и целенаправленного выбора x_{n+1} оценки используются эффективно для поиска оптимума функции f.
Определение:
Байесовская оптимизация — это вероятностный метод оптимизации, который с помощью суррогатной модели и функции приобретения эффективно глобально оптимизирует дорогие black-box функции.
Источник:
Shahriari, B., Swersky, K., Wang, Z., Adams, R. P., & de Freitas, N. (2016). Taking the Human Out of the Loop: A Review of Bayesian Optimization. Proceedings of the IEEE, 104(1), 148-175.