Cross-entropy
Definizione rapida
Misura la differenza tra la distribuzione di probabilità prevista da un modello e i risultati attesi.
Spiegazione
La cross-entropy penalizza le previsioni che assegnano bassa probabilità all’esito corretto. È usata come funzione obiettivo o metrica, ma un valore più basso non dimostra da solo utilità o veridicità del sistema.
Esempio pratico
In un classificatore, perdere sicurezza su una classe corretta aumenta la cross-entropy anche se la classe con probabilità maggiore resta quella giusta.
Spiegazione tecnica
Il calcolo usa il logaritmo della probabilità assegnata al target; nella predizione del linguaggio viene spesso mediato sui token della sequenza.
Da non confondere con
Non è l’accuratezza e non misura direttamente la qualità percepita: valuta la distribuzione delle probabilità.