Capsule Routing bezeichnet den iterativen Prozess in Capsule Networks, bei dem die Ausgaben von niedrigstufigen Kapseln an höherstufige Kapseln weitergegeben und gewichtet werden, um eine kohärente hierarchische Repräsentation zu bilden.
Formal wird bei dynamischem Routing by Agreement die Gewichtung (Routing-Koeffizienten) c_{ij} zwischen einer unteren Kapsel i und einer oberen Kapsel j durch einen Softmax über sogenannte Routing-Logits b_{ij} berechnet:
c_{ij} = softmax(b_{ij})
Die Vorhersage ŷ_{j|i} wird als Multiplikation der Ausgabe u_i der unteren Kapsel mit einer Gewichtungsmatrix W_{ij} gebildet:
ŷ_{j|i} = W_{ij} u_i
Die Eingabe s_j der oberen Kapsel ist dann die gewichtete Summe der Vorhersagen:
s_j = ∑_i c_{ij} ŷ_{j|i}
Die Ausgabe v_j der oberen Kapsel wird durch eine nichtlineare Squashing-Funktion auf s_j berechnet.
In mehreren Routing-Iterationen werden die Logits b_{ij} basierend auf der Übereinstimmung zwischen ŷ_{j|i} und v_j angepasst, um die Routing-Koeffizienten zu verfeinern.
Diese Methode ermöglicht es, dass Kapseln nur Signale an übergeordnete Kapseln weitergeben, die mit ihren Vorhersagen übereinstimmen, was eine part-whole Beziehung modelliert.
Definition:
Capsule Routing ist ein iterativer Mechanismus in Capsule Networks, bei dem die Weiterleitung von Signalen zwischen Kapseln basierend auf der Übereinstimmung ihrer Vorhersagen dynamisch gewichtet wird, um hierarchische und part-whole Beziehungen in den Daten zu modellieren.
Quelle:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).