Predizione del token successivo
Definizione rapida
Meccanismo con cui un modello linguistico stima quali token possano seguire quelli già presenti nel contesto.
Spiegazione
Il modello non riceve necessariamente un piano esplicito della frase: produce una distribuzione sul passo successivo e la usa iterativamente per generare una sequenza. Il comportamento emergente dipende da dati, architettura e decoding.
Esempio pratico
Dopo “Il server ha restituito” il modello assegna probabilità a token come “un”, “errore” o “la” e poi continua dal token scelto.
Spiegazione tecnica
Durante l’inferenza i logits vengono convertiti in probabilità; la selezione può essere greedy o campionata con temperatura, top-k o top-p.
Da non confondere con
Non è una previsione certa né la semplice ricerca della parola più frequente: considera l’intero contesto codificato.