Serving
Definizione rapida
Infrastruttura e processo con cui un modello viene reso disponibile alle applicazioni che devono eseguirlo.
Spiegazione
Il serving comprende caricamento, batching, gestione delle richieste, scalabilità, osservabilità e protezione dell’endpoint. La qualità dipende anche da latenza, memoria, concorrenza e disponibilità.
Esempio pratico
Un server espone un endpoint di inferenza, accoda le richieste e restituisce output entro un limite di latenza definito.
Spiegazione tecnica
Il runtime carica pesi e tokenizer, gestisce device e precisione, esegue inferenza e applica limiti di risorse e autenticazione.
Da non confondere con
Non è l’inferenza singola: serving è il servizio operativo che rende l’inferenza accessibile in modo ripetibile.