Les équations différentielles neuronales sont une classe de modèles qui combinent des équations différentielles avec des réseaux neuronaux pour décrire des systèmes dynamiques continus.
On définit formellement une équation différentielle de la forme
\[ \frac{d\mathbf{z}(t)}{dt} = f(\mathbf{z}(t), t, \theta) \]
où \( f \) est un réseau neuronal avec des paramètres \( \theta \), qui décrit la dérivée temporelle du vecteur d'état \( \mathbf{z}(t) \).
La solution de l'équation est obtenue par intégration numérique, par exemple via la méthode de Runge-Kutta, ce qui permet d'interpréter les réseaux neuronaux comme des modèles profonds continus.
Ces modèles sont particulièrement adaptés aux problèmes avec des horodatages irréguliers ou des simulations basées sur la physique et offrent des avantages par rapport aux architectures discrètes.
Définition :
« Les équations différentielles neuronales sont des modèles dans lesquels l'évolution temporelle d'un système est décrite par une équation différentielle dont le côté droit est paramétré par un réseau neuronal. »
Source :
Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems, 31.