Маршрутизация капсул обозначает итеративный процесс в капсульных сетях, при котором выходы низкоуровневых капсул передаются и взвешиваются для высокоуровневых капсул с целью формирования согласованного иерархического представления.
Формально при динамической маршрутизации по согласию весовые коэффициенты (коэффициенты маршрутизации) c_{ij} между нижней капсулой i и верхней капсулой j вычисляются с помощью softmax по так называемым логитам маршрутизации b_{ij}:
c_{ij} = softmax(b_{ij})
Прогноз ŷ_{j|i} формируется как произведение выхода u_i нижней капсулы на матрицу весов W_{ij}:
ŷ_{j|i} = W_{ij} u_i
Вход s_j верхней капсулы затем является взвешенной суммой прогнозов:
s_j = ∑_i c_{ij} ŷ_{j|i}
Выход v_j верхней капсулы вычисляется с помощью нелинейной функции сжатия (squashing) от s_j.
В нескольких итерациях маршрутизации логиты b_{ij} корректируются на основе согласованности между ŷ_{j|i} и v_j для уточнения коэффициентов маршрутизации.
Этот метод позволяет капсулам передавать сигналы только тем вышестоящим капсулам, которые соответствуют их прогнозам, моделируя отношение часть-целое.
Определение:
Маршрутизация капсул — это итеративный механизм в капсульных сетях, при котором передача сигналов между капсулами динамически взвешивается на основе согласованности их прогнозов для моделирования иерархических и часть-целое отношений в данных.
Источник:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems (NeurIPS).