La IA multimodal se refiere a un paradigma del aprendizaje automático en el que los modelos procesan simultáneamente múltiples modalidades de datos \( M = \{m_1, m_2, ..., m_k\} \) y las representan en un espacio de representación común \( \mathcal{Z} \).
Formalmente, para cada modalidad \( m_i \) se entrenan funciones de codificación \( f_{m_i}: X_{m_i} ightarrow \mathcal{Z}_{m_i} \), que transforman los datos de entrada en vectores latentes. A continuación, se realiza una fusión o alineación de estas representaciones, por ejemplo, mediante atención cruzada entre modalidades o incrustación conjunta.
El objetivo es aprender un modelo \( F: \prod_{i=1}^k X_{m_i} ightarrow Y \) que realice predicciones robustas y semánticamente ricas a partir de las modalidades combinadas.
La IA multimodal aborda desafíos como las características heterogéneas de los datos, modalidades faltantes y diferentes escalas de los datos.
Definición:
«La IA multimodal comprende métodos y modelos que procesan e integran simultáneamente múltiples modalidades de datos diferentes para permitir una comprensión más completa y mejores predicciones.»
Fuente:
Baltrusaitis, T., Ahuja, C., & Morency, L. P. (2019). Multimodal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2), 423-443.