Multimodale KI integriert unterschiedliche Datenmodalitäten, wie Text, Bild, Audio oder Video, in einem gemeinsamen Modell, um komplexe Aufgaben zu lösen, die mehrere Informationsquellen erfordern.
Diese Modelle lernen, Zusammenhänge zwischen den Modalitäten herzustellen, indem sie gemeinsame Repräsentationen oder Verknüpfungen zwischen den unterschiedlichen Datentypen erzeugen.
Typische Ansätze nutzen neuronale Netzwerke mit spezialisierten Encodern für jede Modalität und kombinieren diese über gemeinsame latente Räume oder Cross-Attention-Mechanismen.
Beispiele sind multimodale Transformer-Modelle, die Bild- und Textinformationen zusammen verarbeiten, um Bildunterschriften zu generieren oder visuelle Frage-Antwort-Systeme zu realisieren.
Multimodale KI verbessert die Leistungsfähigkeit bei Aufgaben wie multimodaler Suche, multimodaler Inhaltsgenerierung und multimodalem Verständnis.