Golden set
Definizione rapida
Insieme piccolo e curato di casi di riferimento usato per confrontare versioni di un sistema nel tempo.
Spiegazione
Il golden set contiene esempi rappresentativi e decisioni attese revisionate. Non dovrebbe essere modificato per nascondere un peggioramento; quando cambia, la variazione va motivata e tracciata.
Esempio pratico
Dopo una modifica al prompt, il team riesegue le stesse domande con risposte attese e confronta gli esiti con la baseline.
Spiegazione tecnica
Il set supporta smoke test e regressioni semantiche, mentre le metriche aggregate richiedono spesso dataset più ampi e diversificati.
Da non confondere con
Non è il dataset di addestramento: serve alla verifica e deve restare indipendente dall’ottimizzazione.