Neuronale Turing-Maschinen (NTM) sind differentiable Modelle, die aus einer Controller-Einheit, meist einem rekurrenten neuronalen Netz, und einem adressierbaren externen Speicher bestehen.
Der Controller lernt durch Backpropagation, Lese- und Schreiboperationen auf dem Speicher zu steuern, was die Modellierung algorithmischer Prozesse ermöglicht.
Formal lässt sich das Lesen aus dem Speicher als gewichtete Summe der Speicherzellen darstellen:
\[ r_t = \sum_i w_t(i) M_t(i) \]
wobei \( w_t(i) \) die differentiablen Lesegewichte und \( M_t(i) \) die Speicherinhalte sind.
Schreiboperationen modifizieren den Speicher durch gewichtete Additionen und Löschungen, ebenfalls gesteuert durch \( w_t(i) \).
Diese Architektur erweitert klassische neuronale Netze um eine dynamische Speicherkomponente und ermöglicht das Lernen komplexer, iterativer Algorithmen.
Definition:
„Neuronale Turing-Maschinen sind differentiable Modelle, die ein neuronales Netz mit einem adressierbaren externen Speicher kombinieren, um algorithmische Aufgaben durch lernbare Lese- und Schreiboperationen zu lösen.“
Quelle:
Graves, A., Wayne, G., & Danihelka, I. (2014). Neural Turing Machines. arXiv preprint arXiv:1410.5401.