Slurp
Definizione rapida
Nome del crawler web impiegato storicamente dal motore di ricerca Inktomi.
Spiegazione
Slurp esplorava il Web recuperando pagine e seguendo collegamenti per alimentare l'indice di Inktomi. Il nome è rimasto associato allo user agent del crawler anche quando la tecnologia è passata ad altri servizi di ricerca.
Esempio pratico
Nei log del server, una richiesta identificata come Slurp segnala la visita automatica di una pagina destinata all'indicizzazione.
Spiegazione tecnica
Il robot effettua richieste HTTP, analizza contenuto e link e pianifica nuove visite secondo le politiche del motore. Direttive per crawler possono influenzarne accesso e frequenza.
Da non confondere con
Non è il motore di ricerca completo: Slurp raccoglie documenti, mentre indicizzazione, ranking e interfaccia di ricerca sono componenti separati.