Pre-training
Definizione rapida
Fase iniziale di addestramento in cui un modello apprende regolarità da grandi quantità di dati.
Spiegazione
Il pre-training costruisce una rappresentazione generale prima dell’adattamento a compiti specifici. La qualità dipende da dati, filtri, obiettivo, architettura e gestione dei rischi sui contenuti usati.
Esempio pratico
Un modello apprende regolarità del linguaggio su un corpus ampio e viene poi adattato a istruzioni o domini più ristretti.
Spiegazione tecnica
I pesi vengono aggiornati minimizzando una funzione obiettivo, spesso con predizione di token o altre attività auto-supervisionate.
Da non confondere con
Non è fine-tuning e non è inferenza: il primo viene dopo per specializzare, la seconda usa i pesi senza addestrarli.