Объяснимость Capsule Network обозначает исследование и представление внутренних механизмов Capsule Networks (CapsNets), в частности активаций капсул и процесса динамического маршрутизации, чтобы сделать процесс принятия решений понятным.
CapsNets состоят из капсул, которые представляют векторы или матрицы, кодирующие как вероятность признака, так и его позу. Передача информации происходит через итеративный Routing-by-Agreement, который динамически настраивает взвешенные связи между капсулами.
Для объяснимости используются методы, такие как визуализация активаций, анализ оценок согласованности в маршрутизации и разложение параметров позы, чтобы интерпретировать, какие признаки и пространственные отношения модель использует для классификации.
Определение:
«Объяснимость Capsule Network — это исследование и применение методов для прозрачного представления и интерпретации внутренних представлений и механизмов динамической маршрутизации в Capsule Networks, чтобы сделать их процессы принятия решений понятными.»
Источник:
Sabour, S., Frosst, N., & Hinton, G. E. (2017). Dynamic Routing Between Capsules. Advances in Neural Information Processing Systems, 30.