Optimización de hiperparámetros explicada para expertos

La optimización de hiperparámetros (HPO) es el proceso de búsqueda de un conjunto de hiperparámetros \( \lambda \in \Lambda \) que minimizan el rendimiento de un algoritmo de aprendizaje \( A_{\lambda} \) en una función de validación \( L_{val} \):

\[ \lambda^* = \arg\min_{\lambda \in \Lambda} L_{val}(A_{\lambda}(D_{train})) \]

Aquí, \( D_{train} \) denota el conjunto de datos de entrenamiento y \( \Lambda \) el espacio de hiperparámetros, que puede contener parámetros discretos y continuos.

Los métodos de optimización comunes incluyen:

• Búsqueda en cuadrícula (Grid Search): búsqueda sistemática pero computacionalmente intensiva.
• Búsqueda aleatoria (Random Search): búsqueda por muestreo, a menudo más eficiente en alta dimensionalidad.
• Optimización bayesiana: búsqueda basada en modelos que explora el espacio de búsqueda con modelos sustitutos probabilísticos (p. ej., procesos gaussianos).
• Métodos basados en gradientes y meta-aprendizaje: enfoques más recientes para la optimización adaptativa.

La optimización de hiperparámetros es esencial para mejorar la generalización y la eficiencia de modelos complejos, especialmente en aprendizaje profundo.

Definición:
«La optimización de hiperparámetros es el proceso de búsqueda sistemática de configuraciones óptimas de parámetros que no se aprenden durante el entrenamiento, para maximizar el rendimiento de un algoritmo de aprendizaje en datos de validación.»

Fuente:
Feurer, M., & Hutter, F. (2019). Hyperparameter Optimization. En Automated Machine Learning (pp. 3-33). Springer.