Bayessche Optimierung ist ein sequentiales Modell-basiertes Optimierungsverfahren, das eine probabilistische Surrogatfunktion \( f \) modelliert, zumeist mittels Gaußprozessen (GP), und eine Akquisitionsfunktion \( \alpha \) verwendet, um den nächsten Evaluationspunkt zu bestimmen.
Die Unsicherheitsquantifizierung erfolgt über die Varianz \( \sigma^2(x) \) der GP-Vorhersage an einem Punkt \( x \), welche die epistemische Unsicherheit des Modells ausdrückt.
Formell wird der nächste Evaluationspunkt gewählt als
\[ x^* = \arg\max_x \alpha(x; \mu(x), \sigma(x)) \]
wobei \( \mu(x) \) und \( \sigma(x) \) Erwartungswert und Standardabweichung der Vorhersage sind.
Beispiele für Akquisitionsfunktionen sind:
Die Unsicherheitsquantifizierung ermöglicht so eine effiziente Suche in komplexen, teuren Suchräumen.
Definition:
„Bayessche Optimierung mit Unsicherheitsquantifizierung ist ein iteratives Optimierungsverfahren, das ein probabilistisches Modell nutzt, um sowohl Vorhersagen als auch Unsicherheiten abzuschätzen und diese Unsicherheiten gezielt bei der Auswahl neuer Evaluationspunkte einsetzt.“
Quelle:
Snoek, J., Larochelle, H., & Adams, R. P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS).