Federated Transfer Learning (FTL) est un paradigme d'apprentissage hybride qui combine les principes du Federated Learning (FL) avec ceux du Transfer Learning (TL) afin d'exploiter efficacement des sources de données distribuées et hétérogènes.
Formellement, le FTL se compose d'un ensemble de clients \( \{C_i\}_{i=1}^N \), chacun possédant des données locales \( D_i \) qui peuvent se situer dans des espaces de caractéristiques ou de données différents mais chevauchants.
L'objectif est d'entraîner un modèle global \( M \) qui résulte de l'agrégation de modèles locaux entraînés \( M_i \) ou de leurs représentations, les mécanismes de transfert permettant le transfert de connaissances entre différentes domaines ou espaces de caractéristiques.
Typiquement, des techniques telles que le mappage de caractéristiques, l'adaptation de domaine ou le fine-tuning de modèle sont utilisées pour adresser l'hétérogénéité des données.
Le FTL traite des défis tels que la confidentialité des données, l'hétérogénéité des données et les quantités limitées de données locales.
Définition :
« Le Federated Transfer Learning est une méthode d'apprentissage distribuée qui transfère et agrège les connaissances de modèles ou de représentations entre des clients hétérogènes afin de produire un modèle commun, tout en gardant les données locales privées. »
Source :
Yang, Q., Liu, Y., Chen, T., & Tong, Y. (2019). Federated Machine Learning: Concept and Applications. ACM Transactions on Intelligent Systems and Technology (TIST), 10(2), 12.