Bayesianische Optimierung ist ein iterativer, probabilistischer Optimierungsansatz für die Minimierung einer unbekannten Funktion f: X → ℝ, die teuer zu evaluieren ist.
Das Verfahren modelliert f mittels eines Gaussian Process (GP) als Surrogatmodell, das für jeden Punkt x ∈ X eine Normalverteilung mit Mittelwert μ(x) und Varianz σ²(x) bereitstellt.
Die Auswahl des nächsten Evaluationspunkts x_{n+1} erfolgt durch Maximierung einer Akquisitionsfunktion α(x; D_n), die auf den bisherigen Daten D_n = {(x_i, y_i)} basiert.
Beispielsweise definiert sich die Expected Improvement (EI) als:
EI(x) = 𝔼[max(0, f_{best} - f(x))]
wobei f_{best} der bisher beste beobachtete Wert ist.
Durch die iterative Aktualisierung des GP-Modells und gezielte Wahl von x_{n+1} werden Evaluierungen effizient genutzt, um das Optimum von f zu finden.
Definition:
Bayesianische Optimierung ist ein probabilistisches Optimierungsverfahren, das mithilfe eines Surrogatmodells und einer Akquisitionsfunktion effizient teure black-box Funktionen global optimiert.
Quelle:
Shahriari, B., Swersky, K., Wang, Z., Adams, R. P., & de Freitas, N. (2016). Taking the Human Out of the Loop: A Review of Bayesian Optimization. Proceedings of the IEEE, 104(1), 148-175.