Capsule Network Sparsity bezeichnet die Eigenschaft, dass in Capsule-Netzwerken nur eine Teilmenge der Capsules innerhalb einer Schicht aktiviert wird, um effiziente und fokussierte Merkmalsrepräsentationen zu erzeugen.
Formell lässt sich Sparsity durch eine regulierende Verlustfunktion \( \mathcal{L}_{sparse} = \lambda \sum_j \|v_j\|_1 \) ausdrücken, wobei \( v_j \) die Aktivierung der Capsule \( j \) ist und \( \lambda \) ein Regularisierungsparameter.
Diese Sparsity fördert eine Verteilung, bei der wenige Capsules hohe Aktivierungen zeigen, während andere nahe null bleiben, was die Diskriminationsfähigkeit erhöht.
Darüber hinaus kann Sparsity durch CapsNet-Architekturen mit konkurrierenden Routing-Mechanismen oder durch sparsames Routing mittels Maskierung implementiert werden.
Der sparsame Ansatz wirkt regulierend und unterstützt die Vermeidung von Überanpassung, verbessert die Interpretierbarkeit der Capsule-Repräsentationen und reduziert den Rechenaufwand.
Definition:
„Capsule Network Sparsity ist die Eigenschaft von Capsule-Netzwerken, bei der nur eine limitierte Anzahl von Capsules innerhalb einer Schicht aktiviert wird, um effiziente, robuste und interpretierbare Merkmalsrepräsentationen zu gewährleisten.“
Quelle:
Wang, X., Yu, F., Dou, Z., & Tao, D. (2019). Sparse Capsule Networks. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).