Нейронные машины Тьюринга (НМТ) — это дифференцируемые модели, состоящие из управляющего блока, обычно рекуррентной нейронной сети, и адресуемой внешней памяти.
Управляющий блок обучается с помощью обратного распространения ошибки управлять операциями чтения и записи в памяти, что позволяет моделировать алгоритмические процессы.
Формально чтение из памяти можно представить как взвешенную сумму ячеек памяти:
\[ r_t = \sum_i w_t(i) M_t(i) \]
где \( w_t(i) \) — дифференцируемые веса чтения, а \( M_t(i) \) — содержимое памяти.
Операции записи изменяют память посредством взвешенных добавлений и удалений, также управляемых через \( w_t(i) \).
Эта архитектура расширяет классические нейронные сети динамическим компонентом памяти и позволяет обучаться сложным итеративным алгоритмам.
Определение:
«Нейронные машины Тьюринга — это дифференцируемые модели, которые комбинируют нейронную сеть с адресуемой внешней памятью для решения алгоритмических задач с помощью обучаемых операций чтения и записи.»
Источник:
Graves, A., Wayne, G., & Danihelka, I. (2014). Neural Turing Machines. arXiv preprint arXiv:1410.5401.