Crawler
Definizione rapida
Programma automatico che visita pagine Web e ne raccoglie i contenuti per un motore di ricerca.
Spiegazione
Detto anche spider, il crawler esplora il sito, acquisisce le pagine e le consegna a un archivio utilizzato nelle ricerche.
Esempio pratico
Lo spider visita un nuovo articolo e lo passa al sistema che prepara l'indice del motore.
Spiegazione tecnica
Il programma pianifica richieste, segue link e registra risposte e metadati destinati alle fasi successive.
Da non confondere con
Non è l'indice di ricerca: raccoglie le pagine che l'indice elaborerà.