Decoding
Definizione rapida
Fase in cui un modello trasforma le probabilità sui token nella sequenza effettivamente restituita.
Spiegazione
Il decoding determina come scegliere i token successivi: può privilegiare sempre l’alternativa più probabile o introdurre campionamento controllato. La stessa rete può quindi produrre uscite differenti a partire dallo stesso contesto.
Esempio pratico
Con temperatura bassa e scelta greedy il modello tende a ripetere l’opzione dominante; con campionamento può esplorare varianti ammesse.
Spiegazione tecnica
Il processo applica parametri come temperatura, top-k o top-p alla distribuzione dei logits prima di selezionare il token.
Da non confondere con
Non è l’addestramento e non è l’inferenza nel suo complesso: è la fase di scelta dell’output dentro l’inferenza generativa.