Federated Transfer Learning (FTL) — это гибридная парадигма обучения, которая сочетает принципы Federated Learning (FL) и Transfer Learning (TL) для эффективного использования распределённых, гетерогенных источников данных.
Формально FTL состоит из множества клиентов \( \{C_i\}_{i=1}^N \), каждый из которых обладает локальными данными \( D_i \), которые могут находиться в различных, но пересекающихся пространствах признаков или данных.
Цель состоит в обучении глобальной модели \( M \), которая создаётся путём агрегации локально обученных моделей \( M_i \) или их представлений, при этом механизмы переноса обеспечивают передачу знаний между различными доменами или пространствами признаков.
Обычно применяются такие техники, как отображение признаков, адаптация домена или дообучение модели, чтобы справиться с гетерогенностью данных.
FTL решает задачи, связанные с конфиденциальностью данных, гетерогенностью данных и ограниченным объёмом локальных данных.
Определение:
«Federated Transfer Learning — это распределённый метод обучения, который переносит и агрегирует знания моделей или представлений между гетерогенными клиентами для создания общей модели, при этом локальные данные остаются приватными.»
Источник:
Yang, Q., Liu, Y., Chen, T., & Tong, Y. (2019). Federated Machine Learning: Concept and Applications. ACM Transactions on Intelligent Systems and Technology (TIST), 10(2), 12.