Dataset di valutazione
Definizione rapida
Insieme curato di casi usato per misurare in modo ripetibile il comportamento di un modello o sistema.
Spiegazione
Un dataset di valutazione deve rappresentare i casi d’uso, includere esempi difficili e avere criteri di esito definiti prima della prova. Separare i dati di valutazione da quelli usati per ottimizzare riduce il rischio di adattarsi artificialmente al test.
Esempio pratico
Una suite di domande con risposta verificata misura se un sistema recupera il documento corretto e rispetta il formato richiesto.
Spiegazione tecnica
Ogni caso può contenere input, riferimento atteso, metadati, rubrica e soglia; versionamento e tracciabilità rendono confrontabili le esecuzioni.
Da non confondere con
Non è un semplice campione casuale: la cura del dataset serve a rappresentare il rischio e lo scopo della valutazione.