LLM-as-a-judge
Definizione rapida
Uso di un modello linguistico per valutare risposte prodotte da un altro modello secondo criteri dichiarati.
Spiegazione
Il giudice può confrontare pertinenza, completezza, tono o aderenza a un formato. La sua valutazione va calibrata con esempi umani e controlli, perché può condividere gli stessi bias o preferire risposte persuasive.
Esempio pratico
Due risposte vengono sottoposte a una rubrica che chiede al giudice di motivare quale cita meglio la fonte assegnata.
Spiegazione tecnica
Il sistema dovrebbe fissare prompt, scala, casi di calibrazione e accordo con revisori umani, separando il punteggio dalla decisione di rilascio.
Da non confondere con
Non è una ground truth automatica: il modello giudicante è un ulteriore strumento di valutazione.