Neuronale Differentialgleichungen sind eine Klasse von Modellen, die Differentialgleichungen mit neuronalen Netzen kombinieren, um kontinuierliche dynamische Systeme zu beschreiben.
Formell definiert man eine Differentialgleichung der Form
\[ \frac{d\mathbf{z}(t)}{dt} = f(\mathbf{z}(t), t, \theta) \]
wobei \( f \) ein neuronales Netz mit Parametern \( \theta \) ist, das die zeitliche Ableitung des Zustandsvektors \( \mathbf{z}(t) \) beschreibt.
Die Lösung der Gleichung erfolgt durch numerische Integration, z.B. mittels Runge-Kutta-Verfahren, wodurch sich neuronale Netze als kontinuierliche Tiefenmodelle interpretieren lassen.
Diese Modelle sind insbesondere für Probleme mit unregelmäßigen Zeitstempeln oder physikalisch basierten Simulationen geeignet und bieten Vorteile gegenüber diskreten Architekturen.
Definition:
„Neuronale Differentialgleichungen sind Modelle, bei denen die zeitliche Entwicklung eines Systems durch eine Differentialgleichung beschrieben wird, deren rechte Seite durch ein neuronales Netz parametrisiert ist.“
Quelle:
Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems, 31.