L'IA multimodale désigne un paradigme d'apprentissage automatique dans lequel des modèles traitent simultanément plusieurs modalités de données \( M = \{m_1, m_2, ..., m_k\} \) et les représentent dans un espace de représentation commun \( \mathcal{Z} \).
Formellement, pour chaque modalité \( m_i \), des fonctions d'encodage \( f_{m_i}: X_{m_i} ightarrow \mathcal{Z}_{m_i} \) sont entraînées, lesquelles transforment les données d'entrée en vecteurs latents. Ensuite, une fusion ou un alignement de ces représentations est effectué, par exemple au moyen d'une attention croisée entre modalités ou d'une intégration commune.
L'objectif est d'apprendre un modèle \( F: \prod_{i=1}^k X_{m_i} ightarrow Y \) qui réalise des prédictions robustes et sémantiquement riches à partir des modalités combinées.
L'IA multimodale aborde des défis tels que les caractéristiques hétérogènes des données, les modalités manquantes et les différentes échelles des données.
Définition :
« L'IA multimodale comprend des méthodes et des modèles qui traitent et intègrent simultanément plusieurs modalités de données distinctes afin de permettre une compréhension plus complète et de meilleures prédictions. »
Source :
Baltrusaitis, T., Ahuja, C., & Morency, L. P. (2019). Multimodal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2), 423-443.