Perplexity
Definizione rapida
Metrica derivata dalla cross-entropy che indica quanto una sequenza sia prevedibile per un modello linguistico.
Spiegazione
Una perplexity più bassa significa che, secondo la metrica, il modello assegna maggiore probabilità ai token osservati. Il numero non misura direttamente verità, utilità, sicurezza o qualità editoriale.
Esempio pratico
Due modelli valutati sullo stesso corpus possono essere confrontati usando la perplexity, purché tokenizer e condizioni siano compatibili.
Spiegazione tecnica
La metrica è legata all’esponenziale della perdita media per token e può essere calcolata su dati di valutazione separati dall’addestramento.
Da non confondere con
Non è una misura di sorpresa dell’utente né un punteggio universale per confrontare modelli con tokenizzazione diversa.