Динамическая маршрутизация в Capsule Network обозначает итеративный алгоритм маршрутизации, который оптимизирует распределение активаций от нижних капсул к верхним в нейронной сети для отображения иерархических отношений между признаками.
Формально коэффициенты маршрутизации \( c_{ij} \) между нижней капсулой \( i \) и верхней капсулой \( j \) определяются через softmax-нормализацию по логитам маршрутизации \( b_{ij} \):
\[ c_{ij} = rac{\exp(b_{ij})}{\sum_k \exp(b_{ik})} \]
Выход верхней капсулы \( s_j \) получается как взвешенная сумма предсказаний \( \hat{u}_{j|i} = W_{ij} u_i \):
\[ s_j = \sum_i c_{ij} \hat{u}_{j|i} \]
Логиты маршрутизации \( b_{ij} \) итеративно обновляются на основе согласованности между \( \hat{u}_{j|i} \) и выходом \( v_j = squash(s_j) \), где функция squash выполняет нелинейную нормализацию.
Этот механизм позволяет сети улавливать сложные пространственные и части-целое отношения и усиливает способность корректно распознавать объекты даже при вариациях.
Определение:
«Динамическая маршрутизация в Capsule Networks — это итеративный механизм адаптивного взвешивания связей между слоями капсул, который моделирует иерархические отношения признаков и улучшает распознавание сложных структур.»
Источник:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).