L'apprentissage fédéré avec confidentialité différentielle désigne un paradigme d'apprentissage dans lequel un modèle global \(f_\theta\) est créé par agrégation de modèles entraînés localement sur des sources de données distribuées, tandis que la confidentialité différentielle (DP) garantit que la participation de points de données individuels n'est pas traçable.
Formellement, à chaque étape de communication, un mécanisme DP \( \mathcal{M} \) est appliqué aux mises à jour locales \( \Delta \theta_i \), par exemple en ajoutant un bruit gaussien \( \mathcal{N}(0, \sigma^2) \), de sorte que :
\[ \mathcal{M}(\Delta \theta_i) = \Delta \theta_i + \mathcal{N}(0, \sigma^2 I) \]
La confidentialité totale est mesurée par la composition des étapes individuelles avec les paramètres \( (\varepsilon, \delta) \).
En combinant la moyenne fédérée (FedAvg) avec des mécanismes DP, le modèle peut être entraîné sans que des informations sensibles issues des données locales puissent être extraites.
Cela répond au défi de garantir mathématiquement la confidentialité dans l'apprentissage distribué tout en maintenant une haute qualité du modèle.
Définition :
« L'apprentissage fédéré avec confidentialité différentielle est une procédure d'apprentissage distribuée dans laquelle les mises à jour locales du modèle sont perturbées par un bruit défini mathématiquement afin de protéger la vie privée des participants tout en entraînant un modèle global. »
Source :
McMahan, H. B., Ramage, D., Talwar, K., & Zhang, L. (2018). Learning Differentially Private Recurrent Language Models. Proceedings of the 6th International Conference on Learning Representations (ICLR).