Les modèles de diffusion sont des modèles génératifs probabilistes qui définissent un processus de diffusion stochastique pour modéliser des distributions de données.
Le processus avant \( q \) est un processus de Markov qui ajoute successivement du bruit gaussien aux données :
\[ q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-eta_t}\mathbf{x}_{t-1}, eta_t \mathbf{I}) \]
où \( eta_t \) sont de petits paramètres de variance contrôlant le degré de bruit.
Le processus inverse est approximé par un réseau neuronal \( p_ heta \) qui apprend à retirer le bruit et ainsi générer la distribution des données :
\[ p_ heta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; oldsymbol{\mu}_ heta(\mathbf{x}_t, t), \Sigma_ heta(\mathbf{x}_t, t)) \]
L'entraînement minimise une variation de la borne inférieure de l'évidence (ELBO) via une perte similaire au Denoising Score Matching.
Les modèles de diffusion se distinguent par leur stabilité lors de l'entraînement et la haute qualité des données générées, mais sont coûteux en calcul.
Définition :
« Les modèles de diffusion sont des modèles génératifs probabilistes qui modélisent les données par un processus avant stochastique avec une fonction de bruit successive et un processus inverse entraîné pour retirer le bruit. »
Source :
Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems (NeurIPS).