Les machines de Turing neuronales (NTM) sont des modèles différentiables composés d'une unité de contrôle, généralement un réseau neuronal récurrent, et d'une mémoire externe adressable.
Le contrôleur apprend, par rétropropagation, à gérer les opérations de lecture et d'écriture sur la mémoire, ce qui permet la modélisation de processus algorithmiques.
Formellement, la lecture dans la mémoire peut être représentée comme une somme pondérée des cellules de mémoire :
\[ r_t = \sum_i w_t(i) M_t(i) \]
où \( w_t(i) \) sont les poids de lecture différentiables et \( M_t(i) \) les contenus de la mémoire.
Les opérations d'écriture modifient la mémoire par des additions et suppressions pondérées, également contrôlées par \( w_t(i) \).
Cette architecture étend les réseaux neuronaux classiques par une composante mémoire dynamique et permet l'apprentissage d'algorithmes complexes et itératifs.
Définition :
« Les machines de Turing neuronales sont des modèles différentiables combinant un réseau neuronal avec une mémoire externe adressable, afin de résoudre des tâches algorithmiques via des opérations de lecture et d'écriture apprenables. »
Source :
Graves, A., Wayne, G., & Danihelka, I. (2014). Neural Turing Machines. arXiv preprint arXiv:1410.5401.