专家版胶囊网络中的基于一致性的路由解释


基于一致性的路由是胶囊网络中的一种迭代算法,通过调整下层胶囊 \( i \) 与上层胶囊 \( j \) 之间的路由系数 \( c_{ij} \),以匹配它们激活的相符程度。

下层胶囊对上层胶囊的预测为 \( \hat{u}_{j|i} = W_{ij} u_i \),其中 \( W_{ij} \) 是权重矩阵,\( u_i \) 是下层胶囊的激活向量。

求和 \( s_j = \sum_i c_{ij} \hat{u}_{j|i} \) 通过非线性 squash 函数归一化为 \( v_j = squash(s_j) \)。

路由系数通过对路由对数概率 \( b_{ij} \) 进行 Softmax 归一化定义:

\[ c_{ij} = rac{\exp(b_{ij})}{\sum_k \exp(b_{ik})} \]

路由对数概率根据 \( \hat{u}_{j|i} \) 与 \( v_j \) 之间的一致性迭代更新:

\[ b_{ij} \leftarrow b_{ij} + \hat{u}_{j|i} \cdot v_j \]

这种调整促进了下层胶囊预测与上层胶囊输出一致的连接的增强,从而有效地建模特征之间的层次关系。


定义:
“基于一致性的路由是胶囊网络中的一种迭代路由机制,通过调整胶囊层之间连接强度以匹配它们激活的一致性,从而建模层次特征关系。”


来源:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).