Сжатие капсул включает методы эффективного представления выходных данных капсул в Capsule Networks с помощью уменьшения размерности, отбора или агрегации.
Формально сжатие капсул можно описать как функцию \( C: \{ \mathbf{v}_i \}_{i=1}^n \to \{ \mathbf{u}_j \}_{j=1}^m \) с \( m < n \), где \( \mathbf{v}_i \in \mathbb{R}^d \) — исходные векторы капсул, а \( \mathbf{u}_j \in \mathbb{R}^k \) — сжатые представления.
Техники включают, например, анализ главных компонент (PCA) для векторов капсул, взвешенные суммы с адаптивными маршрутными весами или разрежённое кодирование для устранения избыточной информации.
Это сжатие сохраняет важную информацию о позе и активации, которая имеет решающее значение для иерархического распознавания в Capsule Networks.
Определение:
«Сжатие капсул обозначает методы уменьшения количества или размерности капсул в Capsule Networks с целью минимизации вычислительных затрат и объёма памяти при сохранении основных характеристик данных.»
Источник:
Wang, X., Liu, M., & Li, J. (2021). Efficient Capsule Compression for Deep Learning. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).