Bayesianische Optimierung ist ein Verfahren zur globalen Optimierung von teuren, black-box Funktionen, bei denen die Ableitungen nicht verfügbar sind.
Sie kombiniert ein probabilistisches Surrogatmodell, meist ein Gaussian Process (GP), mit einer Akquisitionsfunktion, die bestimmt, welche Eingabepunkte als nächstes ausgewählt werden, um die Funktion zu evaluieren.
Das Surrogatmodell approximiert die unbekannte Zielfunktion und liefert Unsicherheitsabschätzungen, die genutzt werden, um den Informationsgewinn zu maximieren.
Die Akquisitionsfunktion balanciert Exploration (Erkunden unbekannter Bereiche) und Exploitation (Nutzung bekannter guter Bereiche), z.B. durch Expected Improvement oder Upper Confidence Bound.
Bayesianische Optimierung eignet sich besonders für Anwendungen wie Hyperparameter-Tuning von Machine-Learning-Modellen oder experimentelle Designprozesse, bei denen Evaluierungen teuer sind.