Transformer
Definizione rapida
Architettura di rete neurale basata su meccanismi di attenzione, usata in molti modelli linguistici e multimodali.
Spiegazione
Il Transformer elabora relazioni tra elementi della sequenza senza dipendere esclusivamente da una lettura ricorrente passo per passo. Varianti encoder, decoder o encoder-decoder sono state adattate a compiti diversi.
Esempio pratico
Un modello linguistico usa blocchi Transformer per considerare il rapporto tra token lontani durante la generazione.
Spiegazione tecnica
L’architettura impiega self-attention, proiezioni, feed-forward, normalizzazione e codifica della posizione, con maschere diverse per addestramento e decoding.
Da non confondere con
Non è un singolo prodotto o LLM: è una famiglia architetturale su cui possono essere costruiti modelli differenti.