Routing by Agreement ist ein iterativer Algorithmus in Capsule Networks, der Routing-Koeffizienten \( c_{ij} \) zwischen unteren Capsules \( i \) und oberen Capsules \( j \) anhand der Übereinstimmung ihrer Aktivierungen anpasst.
Die Vorhersage einer unteren Capsule für eine obere ist \( \hat{u}_{j|i} = W_{ij} u_i \), wobei \( W_{ij} \) eine Gewichtsmatrix und \( u_i \) der Aktivierungsvektor der unteren Capsule ist.
Die Summation \( s_j = \sum_i c_{ij} \hat{u}_{j|i} \) wird durch eine nichtlineare squash-Funktion normalisiert zu \( v_j = squash(s_j) \).
Routing-Koeffizienten werden durch Softmax-Normalisierung der Routing-Logits \( b_{ij} \) definiert:
\[ c_{ij} = rac{\exp(b_{ij})}{\sum_k \exp(b_{ik})} \]
Die Routing-Logits werden iterativ aktualisiert basierend auf der Übereinstimmung zwischen \( \hat{u}_{j|i} \) und \( v_j \):
\[ b_{ij} \leftarrow b_{ij} + \hat{u}_{j|i} \cdot v_j \]
Diese Anpassung fördert die Verstärkung von Verbindungen, bei denen die Vorhersagen der unteren Capsules mit der Ausgabe der oberen Capsules übereinstimmen, wodurch hierarchische Beziehungen zwischen Merkmalen effektiv modelliert werden.
Definition:
„Routing by Agreement ist ein iterativer Routing-Mechanismus in Capsule Networks, der Verbindungsstärken zwischen Capsuleschichten anhand der Übereinstimmung ihrer Aktivierungen anpasst, um hierarchische Merkmalsbeziehungen zu modellieren.“
Quelle:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).