La optimización de hiperparámetros se refiere al proceso en el que se ajustan los parámetros de un modelo que no se aprenden durante el entrenamiento, sino que deben establecerse previamente.
Estos hiperparámetros influyen significativamente en el rendimiento y comportamiento de los modelos, como por ejemplo la tasa de aprendizaje, el número de capas o la intensidad de la regularización.
Los métodos típicos para la optimización son la búsqueda en cuadrícula (Grid Search), la búsqueda aleatoria (Random Search) o la optimización bayesiana.
Para ello se define un espacio de búsqueda y se buscan sistemáticamente combinaciones que mejoren el modelo en datos de validación.
Una optimización eficiente de hiperparámetros es crucial para ajustar los modelos de la mejor manera posible a los datos y evitar el sobreajuste.