Federated Transfer Learning (FTL) ist ein hybrides Lernparadigma, das die Prinzipien des Federated Learning (FL) mit denen des Transfer Learning (TL) kombiniert, um verteilte, heterogene Datenquellen effektiv zu nutzen.
Formal betrachtet besteht FTL aus einer Menge von Clients \( \{C_i\}_{i=1}^N \), die jeweils lokale Daten \( D_i \) besitzen, welche in unterschiedlichen, aber überlappenden Feature- oder Datenräumen liegen können.
Das Ziel ist es, ein globales Modell \( M \) zu trainieren, das durch Aggregation von lokal trainierten Modellen \( M_i \) oder deren Repräsentationen entsteht, wobei Transfermechanismen die Wissensübertragung zwischen unterschiedlichen Domänen oder Feature-Räumen ermöglichen.
Typischerweise werden Techniken wie Feature-Mapping, Domänenadaption oder Modell-Feintuning eingesetzt, um die Heterogenität der Daten zu adressieren.
FTL adressiert Herausforderungen wie Datenschutz, Datenheterogenität und begrenzte lokale Datenmengen.
Definition:
„Federated Transfer Learning ist ein verteiltes Lernverfahren, das Modell- oder Repräsentationswissen zwischen heterogenen Clients transferiert und aggregiert, um ein gemeinsames Modell zu erzeugen, während die lokalen Daten privat bleiben.“
Quelle:
Yang, Q., Liu, Y., Chen, T., & Tong, Y. (2019). Federated Machine Learning: Concept and Applications. ACM Transactions on Intelligent Systems and Technology (TIST), 10(2), 12.