Hyperparameteroptimierung erklärt für Experten

Hyperparameteroptimierung (HPO) ist der Prozess des Suchens nach einem Satz von Hyperparametern \( \lambda \in \Lambda \), die die Leistung eines Lernalgorithmus \( A_{\lambda} \) auf einer Validierungsfunktion \( L_{val} \) minimieren:

\[ \lambda^* = \arg\min_{\lambda \in \Lambda} L_{val}(A_{\lambda}(D_{train})) \]

Hierbei bezeichnet \( D_{train} \) den Trainingsdatensatz und \( \Lambda \) den Hyperparameterraum, der diskrete und kontinuierliche Parameter enthalten kann.

Gängige Optimierungsverfahren umfassen:

• Grid Search: systematische, aber rechenintensive Vollsuche.
• Random Search: stichprobenartige Suche, oft effizienter bei hoher Dimensionalität.
• Bayessche Optimierung: modellbasierte Suche, die mit probabilistischen Surrogatmodellen (z.B. Gaussian Processes) den Suchraum exploriert.
• Gradientenbasierte Methoden und Meta-Lernen: neuere Ansätze zur adaptiven Optimierung.

Hyperparameteroptimierung ist essenziell für die Verbesserung der Generalisierung und Effizienz komplexer Modelle, insbesondere im Deep Learning.

Definition:
„Hyperparameteroptimierung ist der Prozess der systematischen Suche nach optimalen Einstellungen von Parametern, die nicht während des Trainings gelernt werden, um die Leistungsfähigkeit eines Lernalgorithmus auf Validierungsdaten zu maximieren.“

Quelle:
Feurer, M., & Hutter, F. (2019). Hyperparameter Optimization. In Automated Machine Learning (pp. 3-33). Springer.