Нейронные дифференциальные уравнения — это класс моделей, которые комбинируют дифференциальные уравнения с нейронными сетями для описания непрерывных динамических систем.
Формально дифференциальное уравнение определяется в виде
\[ \frac{d\mathbf{z}(t)}{dt} = f(\mathbf{z}(t), t, \theta) \]
где \( f \) — нейронная сеть с параметрами \( \theta \), описывающая временную производную векторного состояния \( \mathbf{z}(t) \).
Решение уравнения осуществляется численной интеграцией, например, методом Рунге-Кутты, что позволяет интерпретировать нейронные сети как непрерывные модели глубины.
Эти модели особенно подходят для задач с нерегулярными временными метками или физически основанными симуляциями и предоставляют преимущества по сравнению с дискретными архитектурами.
Определение:
«Нейронные дифференциальные уравнения — это модели, в которых временное развитие системы описывается дифференциальным уравнением, правая часть которого параметризована нейронной сетью.»
Источник:
Chen, R. T. Q., Rubanova, Y., Bettencourt, J., & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems, 31.