Мультимодальный ИИ обозначает парадигму машинного обучения, при которой модели одновременно обрабатывают несколько модальностей данных \( M = \{m_1, m_2, ..., m_k\} \) и отображают их в общем пространстве представлений \( \mathcal{Z} \).
Формально для каждой модальности \( m_i \) обучаются функции кодирования \( f_{m_i}: X_{m_i} ightarrow \mathcal{З}_{m_i} \), которые преобразуют входные данные в латентные векторы. Затем происходит слияние или выравнивание этих представлений, например, с помощью Cross-Modality Attention или общей эмбеддинга.
Цель — обучить модель \( F: \prod_{i=1}^k X_{m_i} ightarrow Y \), которая на основе комбинированных модальностей делает устойчивые и семантически насыщенные предсказания.
Мультимодальный ИИ решает задачи, такие как гетерогенность данных, отсутствие модальностей и различные масштабы данных.
Определение:
«Мультимодальный ИИ включает методы и модели, которые одновременно обрабатывают и интегрируют несколько различных модальностей данных для обеспечения более глубокого понимания и улучшенных предсказаний.»
Источник:
Baltrusaitis, T., Ahuja, C., & Morency, L. P. (2019). Multimodal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(2), 423-443.