Байесовская оптимизация — это метод глобальной оптимизации дорогих black-box функций, для которых производные недоступны.
Она сочетает вероятностную модель-суррогат, чаще всего гауссовский процесс (GP), с функцией приобретения, которая определяет, какие входные точки следует выбрать для следующей оценки функции.
Модель-суррогат аппроксимирует неизвестную целевую функцию и предоставляет оценки неопределённости, которые используются для максимизации информационного выигрыша.
Функция приобретения балансирует исследование (изучение неизвестных областей) и использование (эксплуатацию известных хороших областей), например, с помощью Expected Improvement или Upper Confidence Bound.
Байесовская оптимизация особенно подходит для таких задач, как настройка гиперпараметров моделей машинного обучения или экспериментальное проектирование, где оценки дорогостоящи.