Capsule Compression umfasst Verfahren zur effizienten Repräsentation der Kapselausgaben in Capsule Networks durch Dimensionsreduktion, Selektion oder Aggregation.
Formell lässt sich Capsule Compression als eine Funktion \( C: \{ \mathbf{v}_i \}_{i=1}^n \to \{ \mathbf{u}_j \}_{j=1}^m \) mit \( m < n \) beschreiben, wobei \( \mathbf{v}_i \in \mathbb{R}^d \) die ursprünglichen Kapselvektoren und \( \mathbf{u}_j \in \mathbb{R}^k \) die komprimierten Repräsentationen sind.
Techniken beinhalten z.B. Principal Component Analysis (PCA) auf Kapselvektoren, gewichtete Summen mit adaptiven Routing-Gewichten oder sparsames Kodieren, um redundante Informationen zu eliminieren.
Diese Kompression bewahrt dabei wesentliche Pose- und Aktivierungsinformationen, welche für die Hierarchieerkennung in Capsule Networks entscheidend sind.
Definition:
„Capsule Compression bezeichnet Verfahren zur Reduktion der Anzahl oder Dimension von Kapseln in Capsule Networks, um Rechenaufwand und Speicherbedarf zu minimieren, während die wesentlichen Merkmale der Daten erhalten bleiben.“
Quelle:
Wang, X., Liu, M., & Li, J. (2021). Efficient Capsule Compression for Deep Learning. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).