Entropia
Definizione rapida
Misura dell’incertezza o della dispersione presente in una distribuzione di probabilità.
Spiegazione
Una distribuzione concentrata su poche alternative ha entropia bassa, mentre molte alternative quasi equivalenti producono entropia più alta. Nel linguaggio è un segnale della sicurezza del modello, non una prova di correttezza.
Esempio pratico
Se due token hanno probabilità quasi uguali, la scelta successiva è più incerta rispetto al caso in cui uno domina nettamente.
Spiegazione tecnica
L’entropia è calcolata sui valori della distribuzione e dipende dalla base del logaritmo; può essere aggregata per token o per intero esempio.
Da non confondere con
Non misura la verità dell’output: un modello può essere molto sicuro e comunque sbagliare.