El aprendizaje auto-supervisado con aumento de datos se refiere a una clase de métodos de aprendizaje en los que un modelo aprende a formar representaciones robustas y generalizables mediante variaciones artificialmente generadas de los datos de entrada.
Formalmente, un dato de entrada \( x \) se transforma mediante una función de aumento estocástica \( t \sim \mathcal{T} \), de modo que se obtiene \( ilde{x} = t(x) \).
El objetivo es entrenar una función de incrustación \( f_ heta \) que genere representaciones similares para dos aumentos del mismo original, es decir, \( f_ heta( ilde{x}_i) \approx f_ heta( ilde{x}_j) \), mientras que las representaciones de diferentes puntos de datos se mantienen separadas.
Esto se realiza a menudo mediante pérdidas contrastivas (p. ej., InfoNCE) u otras métricas de distancia.
Los aumentos de datos son cruciales, ya que simulan la varianza de los datos y obligan al modelo a centrarse en características relevantes.
Definición:
«El aprendizaje auto-supervisado con aumento de datos es un paradigma de aprendizaje en el que un modelo aprende representaciones robustas mediante variaciones artificialmente generadas de los datos de entrada, produciendo representaciones similares para diferentes aumentos del mismo original.»
Fuente:
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML).