Multimodale KI bezeichnet ein Paradigma des maschinellen Lernens, bei dem Modelle simultan mehrere Datenmodalitäten \( M = \{m_1, m_2, ..., m_k\} \) verarbeiten und in einem gemeinsamen Repräsentationsraum \( \mathcal{Z} \) abbilden.
Formal werden für jede Modalität \( m_i \) Encodierungsfunktionen \( f_{m_i}: X_{m_i} ightarrow \mathcal{Z}_{m_i} \) trainiert, welche die Eingabedaten in latente Vektoren transformieren. Anschließend erfolgt eine Fusion oder ein Alignment dieser Repräsentationen, z.B. mittels Cross-Modality Attention oder gemeinsamer Einbettung.
Ziel ist es, ein Modell \( F: \prod_{i=1}^k X_{m_i} ightarrow Y \) zu lernen, das aus den kombinierten Modalitäten robuste und semantisch reiche Vorhersagen trifft.
Multimodale KI adressiert Herausforderungen wie heterogene Datencharakteristika, fehlende Modalitäten und unterschiedliche Skalen der Daten.
Definition:
„Multimodale KI umfasst Methoden und Modelle, die mehrere unterschiedliche Datenmodalitäten gleichzeitig verarbeiten und integrieren, um ein umfassenderes Verständnis und bessere Vorhersagen zu ermöglichen.“
Quelle:
Baltrusaitis, T., Ahuja, C., & Morency, L. P. (2019). Multimodal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2), 423-443.