多模态人工智能指的是一种机器学习范式，其中模型同时处理多种数据模态 \( M = \{m_1, m_2, ..., m_k\} \)，并将其映射到一个共同的表示空间 \( \mathcal{Z} \) 中。
形式上，对于每个模态 \( m_i \)，训练编码函数 \( f_{m_i}: X_{m_i} ightarrow \mathcal{Z}_{m_i} \)，将输入数据转换为潜在向量。随后对这些表示进行融合或对齐，例如通过跨模态注意力（Cross-Modality Attention）或联合嵌入。
目标是学习一个模型 \( F: \prod_{i=1}^k X_{m_i} ightarrow Y \)，能够基于组合的模态做出鲁棒且语义丰富的预测。
多模态人工智能解决了异构数据特性、缺失模态和数据尺度差异等挑战。
定义：
“多模态人工智能包括同时处理和整合多种不同数据模态的方法和模型，以实现更全面的理解和更优的预测。”
来源：
Baltrusaitis, T., Ahuja, C., & Morency, L. P. (2019). Multimodal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2), 423-443.