L'IA multimodale intègre différentes modalités de données, telles que le texte, l'image, l'audio ou la vidéo, dans un modèle commun afin de résoudre des tâches complexes nécessitant plusieurs sources d'information.
Ces modèles apprennent à établir des liens entre les modalités en générant des représentations communes ou des connexions entre les différents types de données.
Les approches typiques utilisent des réseaux neuronaux avec des encodeurs spécialisés pour chaque modalité et les combinent via des espaces latents communs ou des mécanismes d'attention croisée.
Des exemples sont les modèles Transformer multimodaux qui traitent conjointement les informations visuelles et textuelles pour générer des légendes d'images ou réaliser des systèmes de questions-réponses visuels.
L'IA multimodale améliore la performance dans des tâches telles que la recherche multimodale, la génération de contenu multimodal et la compréhension multimodale.