Le Capsule Pooling désigne le processus par lequel les sorties des capsules dans un Capsule Network sont agrégées afin de produire une représentation réduite mais significative, prenant en compte à la fois les informations de pose et d’activation.
Formellement, le Capsule Pooling peut être décrit comme une fonction \( P: \{ \mathbf{v}_i \}_{i=1}^n \rightarrow \mathbf{v}_p \), où \( \mathbf{v}_i \in \mathbb{R}^d \) est la sortie vectorielle de la i-ème capsule et \( \mathbf{v}_p \) la représentation capsule mise en pool.
L’agrégation peut se faire par des sommes pondérées, par exemple :
\[ \mathbf{v}_p = \sum_{i=1}^n w_i \mathbf{v}_i, \quad ext{avec} \quad w_i = rac{\exp(a_i)}{\sum_{j=1}^n \exp(a_j)} \]
où \( a_i \) sont des valeurs d’activation ou des coefficients de routage.
Le Capsule Pooling se distingue des méthodes classiques de pooling par la conservation des informations de pose et la prise en compte de la structure des capsules, ce qui conduit à une meilleure interprétabilité et performance du modèle.
Définition :
« Le Capsule Pooling est une méthode d’agrégation dans les Capsule Networks qui fusionne les sorties des capsules tout en conservant leurs informations de pose et d’activation, afin de représenter efficacement les caractéristiques spatiales et hiérarchiques. »
Source :
Hinton, G. E., Krizhevsky, A., & Wang, S. D. (2018). Matrix Capsules with EM Routing. Proceedings of the International Conference on Learning Representations (ICLR).