胶囊压缩专家解读


胶囊压缩包括通过降维、选择或聚合等方法对胶囊网络中的胶囊输出进行高效表示的技术。

形式上,胶囊压缩可描述为函数 \( C: \{ \mathbf{v}_i \}_{i=1}^n \to \{ \mathbf{u}_j \}_{j=1}^m \),其中 \( m < n \),\( \mathbf{v}_i \in \mathbb{R}^d \) 表示原始胶囊向量,\( \mathbf{u}_j \in \mathbb{R}^k \) 表示压缩后的表示。

技术包括例如对胶囊向量进行主成分分析(PCA)、使用带自适应路由权重的加权和或稀疏编码,以消除冗余信息。

该压缩过程保留了关键的姿态和激活信息,这对胶囊网络中的层次识别至关重要。


定义:
“胶囊压缩指的是减少胶囊网络中胶囊数量或维度的技术,以最小化计算和存储需求,同时保持数据的关键特征。”


来源:
Wang, X., Liu, M., & Li, J. (2021). Efficient Capsule Compression for Deep Learning. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).