BM25
Definizione rapida
Algoritmo statistico di recupero testuale che assegna un punteggio usando frequenza dei termini, rarità e lunghezza dei documenti.
Spiegazione
BM25 favorisce i documenti che contengono i termini della query senza premiare indefinitamente le ripetizioni. È efficace per corrispondenze lessicali, codici e nomi esatti, ma non comprende da solo sinonimi o significati impliciti.
Esempio pratico
In una ricerca di documentazione, una pagina che contiene “tokenizer” nel titolo e nel testo può ricevere un punteggio superiore a una pagina che lo cita incidentalmente.
Spiegazione tecnica
Il punteggio deriva da term frequency, inverse document frequency e normalizzazione per la lunghezza del documento, con parametri regolabili come k1 e b.
Da non confondere con
Non è un embedding né una ricerca semantica: lavora principalmente sulla corrispondenza delle parole.