La compression de capsules comprend des méthodes pour une représentation efficace des sorties de capsules dans les réseaux de capsules par réduction de dimension, sélection ou agrégation.
Formellement, la compression de capsules peut être décrite comme une fonction \( C: \{ \mathbf{v}_i \}_{i=1}^n \to \{ \mathbf{u}_j \}_{j=1}^m \) avec \( m < n \), où \( \mathbf{v}_i \in \mathbb{R}^d \) sont les vecteurs de capsules originaux et \( \mathbf{u}_j \in \mathbb{R}^k \) les représentations compressées.
Les techniques incluent par exemple l'analyse en composantes principales (ACP) sur les vecteurs de capsules, des sommes pondérées avec des poids de routage adaptatifs ou un codage parcimonieux pour éliminer les informations redondantes.
Cette compression préserve les informations essentielles de pose et d'activation, qui sont cruciales pour la reconnaissance hiérarchique dans les réseaux de capsules.
Définition :
« La compression de capsules désigne les méthodes de réduction du nombre ou de la dimension des capsules dans les réseaux de capsules, afin de minimiser le coût de calcul et la mémoire tout en conservant les caractéristiques essentielles des données. »
Source :
Wang, X., Liu, M., & Li, J. (2021). Efficient Capsule Compression for Deep Learning. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).