Chunking
Definizione rapida
Suddivisione di un documento in frammenti più piccoli per facilitarne indicizzazione, recupero e inserimento nel contesto di un modello.
Spiegazione
La dimensione del frammento deve bilanciare completezza e precisione. Segmenti troppo grandi portano rumore e consumano contesto; segmenti troppo piccoli perdono riferimenti, condizioni e continuità del discorso.
Esempio pratico
Un manuale viene diviso per paragrafi con una sovrapposizione limitata, così una definizione che attraversa due pagine resta recuperabile.
Spiegazione tecnica
Una pipeline di chunking può usare confini semantici, soglie di token, overlap e metadati come titolo o pagina, mantenendo il legame con il documento originale.
Da non confondere con
Non è un semplice taglio a intervalli fissi: il chunking efficace considera la struttura e lo scopo del recupero.