胶囊网络稀疏性专家解读


胶囊网络稀疏性指的是在胶囊网络中,每一层仅激活部分胶囊,以生成高效且聚焦的特征表示的特性。

形式上,稀疏性可以通过正则化损失函数 \( \mathcal{L}_{sparse} = \lambda \sum_j \|v_j\|_1 \) 表达,其中 \( v_j \) 是第 \( j \) 个胶囊的激活值,\( \lambda \) 是正则化参数。

这种稀疏性促使少数胶囊表现出高激活,而其他胶囊接近零,从而提升了区分能力。

此外,稀疏性可以通过具有竞争路由机制的CapsNet架构或通过掩码实现的稀疏路由来实现。

稀疏方法具有正则化作用,有助于避免过拟合,提升胶囊表示的可解释性,并减少计算开销。


定义:
“胶囊网络稀疏性是胶囊网络的特性,其中每层仅激活有限数量的胶囊,以确保高效、鲁棒且可解释的特征表示。”


来源:
Wang, X., Yu, F., Dou, Z., & Tao, D. (2019). Sparse Capsule Networks. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV).