Federated Learning с дифференциальной приватностью обозначает парадигму обучения, при которой глобальная модель \(f_ heta\) создаётся путём агрегации локально обученных моделей на распределённых источниках данных, в то время как дифференциальная приватность (DP) гарантирует, что участие отдельных данных невозможно отследить.
Формально на каждом шаге коммуникации применяется DP-механизм \( \mathcal{M} \) к локальным обновлениям \( \Delta heta_i \), например, путём добавления гауссовского шума \( \mathcal{N}(0, \sigma^2) \), так что выполняется:
\[ \mathcal{M}(\Delta heta_i) = \Delta heta_i + \mathcal{N}(0, \sigma^2 I) \]
Общая приватность измеряется через композицию отдельных шагов с параметрами \( (\varepsilon, \delta) \).
Комбинируя Federated Averaging (FedAvg) с DP-механизмами, можно обучать модель без извлечения чувствительной информации из локальных данных.
Это решает задачу математической гарантии приватности при распределённом обучении при сохранении высокого качества модели.
Определение:
«Federated Learning с дифференциальной приватностью — это распределённый метод обучения, при котором локальные обновления модели снабжаются математически определённым шумом для защиты приватности участников и одновременно для обучения глобальной модели.»
Источник:
McMahan, H. B., Ramage, D., Talwar, K., & Zhang, L. (2018). Learning Differentially Private Recurrent Language Models. Proceedings of the 6th International Conference on Learning Representations (ICLR).