Federated Transfer Learning (FTL) es un paradigma de aprendizaje híbrido que combina los principios del Federated Learning (FL) con los del Transfer Learning (TL) para utilizar eficazmente fuentes de datos distribuidas y heterogéneas.
Formalmente, FTL consta de un conjunto de clientes \( \{C_i\}_{i=1}^N \), cada uno con datos locales \( D_i \) que pueden estar en espacios de características o datos diferentes pero superpuestos.
El objetivo es entrenar un modelo global \( M \) que se genere mediante la agregación de modelos locales entrenados \( M_i \) o sus representaciones, donde los mecanismos de transferencia permiten la transferencia de conocimiento entre diferentes dominios o espacios de características.
Normalmente se emplean técnicas como mapeo de características, adaptación de dominio o ajuste fino del modelo para abordar la heterogeneidad de los datos.
FTL aborda desafíos como la privacidad, la heterogeneidad de los datos y la cantidad limitada de datos locales.
Definición:
«Federated Transfer Learning es un procedimiento de aprendizaje distribuido que transfiere y agrega conocimiento de modelos o representaciones entre clientes heterogéneos para generar un modelo común, mientras que los datos locales permanecen privados.»
Fuente:
Yang, Q., Liu, Y., Chen, T., & Tong, Y. (2019). Federated Machine Learning: Concept and Applications. ACM Transactions on Intelligent Systems and Technology (TIST), 10(2), 12.