Capsule Network Dynamisches Routing bezeichnet einen iterativen Routing-Algorithmus, der die Verteilung der Aktivierungen von niedrigeren Capsules auf höhere Capsules in einem neuronalen Netzwerk optimiert, um hierarchische Beziehungen zwischen Merkmalen abzubilden.
Formell werden Routing-Koeffizienten \( c_{ij} \) zwischen unterer Capsule \( i \) und oberer Capsule \( j \) durch Softmax-Normalisierung über Routing-Logits \( b_{ij} \) definiert:
\[ c_{ij} = rac{\exp(b_{ij})}{\sum_k \exp(b_{ik})} \]
Die Ausgabe der oberen Capsule \( s_j \) ergibt sich als gewichtete Summe der Vorhersagen \( \hat{u}_{j|i} = W_{ij} u_i \):
\[ s_j = \sum_i c_{ij} \hat{u}_{j|i} \]
Die Routing-Logits \( b_{ij} \) werden iterativ basierend auf der Übereinstimmung zwischen \( \hat{u}_{j|i} \) und der Ausgabe \( v_j = squash(s_j) \) aktualisiert, wobei die squash-Funktion nichtlineare Normalisierung übernimmt.
Dieser Mechanismus ermöglicht es dem Netzwerk, komplexe räumliche und part-whole Beziehungen zu erfassen und stärkt die Fähigkeit, Objekte auch bei Variationen korrekt zu erkennen.
Definition:
„Dynamisches Routing in Capsule Networks ist ein iterativer Mechanismus zur adaptiven Gewichtung von Verbindungen zwischen Capsuleschichten, der hierarchische Merkmalsbeziehungen modelliert und die Erkennung komplexer Strukturen verbessert.“
Quelle:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).