Федеративное мета-обучение обозначает парадигму обучения, которая интегрирует федеративное обучение с мета-обучением для разработки моделей, которые быстро адаптируются к новым, специфичным для клиента задачам, при этом данные остаются децентрализованными.
Формально рассматривается множество клиентов \( \{C_i\}_{i=1}^N \), каждый из которых обладает собственной локальной распределённой выборкой данных \( \mathcal{D}_i \). Цель состоит в том, чтобы найти мета-инициализацию \( heta \), такую, что после нескольких шагов локальной адаптации \( heta_i = heta - \alpha abla_ heta \mathcal{L}_{\mathcal{D}_i}( heta) \) производительность на соответствующей локальной задаче максимизируется.
Процесс обучения включает итеративную агрегацию градиентов или параметров по клиентам, при этом обеспечивается защита данных за счёт отсутствия передачи данных и, при необходимости, дополнительных техник, таких как дифференциальная приватность или безопасная агрегация.
Федеративное мета-обучение решает задачи, такие как гетерогенные распределения данных, ограничения коммуникаций и баланс между глобальной обобщающей способностью и локальной специализацией.
Определение:
«Федеративное мета-обучение — это подход, который объединяет федеративное обучение и мета-обучение для обучения моделей, которые быстро адаптируются к новым распределённым задачам без обмена локальными данными.»
Источник:
Jiang, Y., Huang, J., & Wang, Y. (2020). Federated Meta-Learning with Fast Convergence and Efficient Communication. Advances in Neural Information Processing Systems (NeurIPS).