Modello multimodale
Definizione rapida
Modello capace di elaborare più tipi di informazione, come testo, immagini, audio o video.
Spiegazione
La multimodalità richiede rappresentazioni e collegamenti tra modalità diverse. Il modello può descrivere un’immagine, combinare testo e audio o produrre un output misto, ma ogni modalità introduce errori e requisiti specifici.
Esempio pratico
Un sistema legge una fotografia e una domanda testuale per individuare il componente mostrato e spiegare il suo uso.
Spiegazione tecnica
L’architettura può usare encoder distinti, spazi condivisi, fusione delle rappresentazioni e decodificatori comuni; la pipeline deve controllare formato e provenienza di ogni input.
Da non confondere con
Non significa solo accettare più file: il modello deve usare le modalità insieme in un compito coerente.