El Aprendizaje Auto-Supervisado (SSL) se refiere a un paradigma de aprendizaje en el que un modelo aprende representaciones a partir de los datos de entrada resolviendo tareas generadas automáticamente (Pretext Tasks), sin depender de etiquetas anotadas manualmente.
Formalmente, se aprende una función f: X → Z, que para una distribución de datos de entrada p(x) genera una representación z = f(x), minimizando una función de pérdida L(f(x), g(x)), donde g(x) es una información objetivo derivada automáticamente de x.
Las tareas pretexto típicas incluyen, por ejemplo, predecir información contextual (p. ej., píxeles vecinos, palabras faltantes), resolver rompecabezas tipo Jigsaw en imágenes o objetivos de aprendizaje contrastivo que definen pares positivos y negativos.
SSL constituye un puente entre los métodos de aprendizaje supervisado y no supervisado, y permite un uso eficiente de grandes cantidades de datos no etiquetados.
Modelos modernos como SimCLR, MoCo o BERT se basan en el Aprendizaje Auto-Supervisado y han incrementado significativamente el rendimiento en muchas áreas de la IA.
Definición:
«El Aprendizaje Auto-Supervisado es un paradigma de aprendizaje en el que los modelos resuelven tareas generadas automáticamente a partir de los datos de entrada para aprender representaciones útiles, sin depender de datos etiquetados manualmente.»
Fuente:
Jing, L. & Tian, Y. (2020). Self-Supervised Visual Feature Learning with Deep Neural Networks: A Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence.