胶囊池化指的是在胶囊网络中,将胶囊的输出进行聚合的过程,以生成一个简化但具有代表性的表示,该表示同时考虑了姿态和激活信息。
形式上,胶囊池化可以描述为一个函数 \( P: \{ \mathbf{v}_i \}_{i=1}^n \rightarrow \mathbf{v}_p \),其中 \( \mathbf{v}_i \in \mathbb{R}^d \) 是第 i 个胶囊的向量输出,\( \mathbf{v}_p \) 是池化后的胶囊表示。
聚合可以通过加权求和实现,例如:
\[ \mathbf{v}_p = \sum_{i=1}^n w_i \mathbf{v}_i, \quad \text{其中} \quad w_i = \frac{\exp(a_i)}{\sum_{j=1}^n \exp(a_j)} \]
其中 \( a_i \) 是激活值或路由系数。
胶囊池化不同于传统的池化方法,它保留了姿态信息并考虑了胶囊结构,从而提升了模型的可解释性和性能。
定义:
“胶囊池化是一种胶囊网络中的聚合方法,它在保留胶囊的姿态和激活信息的同时,将胶囊输出合并,以有效表示空间和层次特征。”
来源:
Hinton, G. E., Krizhevsky, A., & Wang, S. D. (2018). Matrix Capsules with EM Routing. Proceedings of the International Conference on Learning Representations (ICLR).