La IA multimodal integra diferentes modalidades de datos, como texto, imagen, audio o vídeo, en un modelo común para resolver tareas complejas que requieren múltiples fuentes de información.
Estos modelos aprenden a establecer relaciones entre las modalidades generando representaciones comunes o enlaces entre los distintos tipos de datos.
Los enfoques típicos utilizan redes neuronales con codificadores especializados para cada modalidad y los combinan mediante espacios latentes comunes o mecanismos de atención cruzada.
Ejemplos son los modelos transformadores multimodales, que procesan conjuntamente información de imagen y texto para generar descripciones de imágenes o realizar sistemas visuales de preguntas y respuestas.
La IA multimodal mejora el rendimiento en tareas como la búsqueda multimodal, la generación de contenido multimodal y la comprensión multimodal.