La sparse des réseaux de capsules désigne la propriété selon laquelle seule une sous-ensemble des capsules au sein d'une couche est activée, afin de produire des représentations de caractéristiques efficaces et ciblées.
Formellement, la sparsité peut être exprimée par une fonction de perte régulatrice \( \mathcal{L}_{sparse} = \lambda \sum_j \|v_j\|_1 \), où \( v_j \) est l'activation de la capsule \( j \) et \( \lambda \) un paramètre de régularisation.
Cette sparsité favorise une distribution où peu de capsules montrent des activations élevées, tandis que les autres restent proches de zéro, ce qui augmente la capacité de discrimination.
De plus, la sparsité peut être mise en œuvre par des architectures CapsNet avec des mécanismes de routage concurrents ou par un routage parcimonieux via un masquage.
L'approche parcimonieuse agit comme une régulation et aide à éviter le surapprentissage, améliore l'interprétabilité des représentations des capsules et réduit la charge de calcul.
Définition :
« La sparse des réseaux de capsules est la propriété des réseaux de capsules selon laquelle seul un nombre limité de capsules au sein d'une couche est activé, afin de garantir des représentations de caractéristiques efficaces, robustes et interprétables. »
Source :
Wang, X., Yu, F., Dou, Z., & Tao, D. (2019). Sparse Capsule Networks. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).