Tokenizer
Definizione rapida
Componente che trasforma testo o codice nella sequenza di token utilizzata dal modello e ricostruisce il testo dall’output.
Spiegazione
La tokenizzazione può dividere una parola in sottoparti, mantenere punteggiatura o usare token speciali. Il numero di token dipende dalla lingua, dal testo e dal vocabolario adottato.
Esempio pratico
Il tokenizer converte una frase in ID numerici, aggiunge i marcatori richiesti e poi decodifica gli ID generati in testo leggibile.
Spiegazione tecnica
Il vocabolario associa simboli o sottoparole a identificativi; padding, troncamento e maschere preparano il batch per l’inferenza.
Da non confondere con
Non è il modello: il tokenizer prepara la sequenza, il modello elabora gli ID e calcola le probabilità.