Meta-aprendizaje se refiere a métodos en los que un algoritmo de aprendizaje se entrena sobre una distribución de tareas para desarrollar una estrategia de aprendizaje que permita una rápida adaptación a nuevas tareas.
Formalmente, se considera una distribución de tareas p(T), donde para cada tarea T se disponen de datos de entrenamiento y prueba. El objetivo es aprender un meta-parámetro \( \theta \) que permita una rápida adaptación mediante pequeñas actualizaciones a una nueva tarea \( T_i \).
Un método conocido es el Meta-Aprendizaje Agnóstico al Modelo (MAML) (Finn et al., 2017), que funciona optimizando la siguiente función objetivo:
\[ \min_{\theta} \sum_{T_i \sim p(T)} \mathcal{L}_{T_i}(U(\theta, D^{train}_{T_i})) \]
Aquí, \( U(\theta, D^{train}_{T_i}) \) es un paso de actualización (por ejemplo, un paso de gradiente) sobre los datos de entrenamiento de la tarea \( T_i \), y \( \mathcal{L}_{T_i} \) es la función de pérdida de la tarea.
El meta-aprendizaje permite así un aprendizaje eficiente con pocos ejemplos (Few-Shot Learning) y está estrechamente relacionado con el aprendizaje por transferencia y el diseño automático de algoritmos.
Definición:
«Meta-aprendizaje es el proceso mediante el cual un algoritmo de aprendizaje se entrena para mejorar su capacidad de aprendizaje, de modo que pueda resolver nuevas tareas rápida y eficientemente con pocos ejemplos.»
Fuente:
Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML).