Байесовская оптимизация — это последовательный метод оптимизации на основе модели, который моделирует вероятностную суррогатную функцию \( f \), чаще всего с помощью гауссовских процессов (GP), и использует функцию приобретения \( \alpha \) для определения следующей точки оценки.
Оценка неопределённости осуществляется через дисперсию \( \sigma^2(x) \) предсказания GP в точке \( x \), которая отражает эпистемическую неопределённость модели.
Формально следующая точка оценки выбирается как
\[ x^* = \arg\max_x \alpha(x; \mu(x), \sigma(x)) \]
где \( \mu(x) \) и \( \sigma(x) \) — математическое ожидание и стандартное отклонение предсказания соответственно.
Примеры функций приобретения:
Оценка неопределённости таким образом позволяет эффективно искать в сложных и дорогих пространствах поиска.
Определение:
«Байесовская оптимизация с оценкой неопределённости — это итеративный метод оптимизации, который использует вероятностную модель для оценки как предсказаний, так и неопределённостей, и целенаправленно применяет эти неопределённости при выборе новых точек оценки.»
Источник:
Snoek, J., Larochelle, H., & Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS).