Spider
Definizione rapida
Programma automatico che visita pagine web e segue collegamenti per scoprirne e analizzarne altre.
Spiegazione
Gli spider, chiamati anche crawler, percorrono il Web raccogliendo contenuti e metadati. I motori di ricerca usano queste informazioni per aggiornare i propri indici e decidere quali risorse possono essere proposte nelle ricerche.
Esempio pratico
Il crawler apre la home page di un sito, registra gli articoli collegati e pianifica una visita successiva per rilevare cambiamenti.
Spiegazione tecnica
La scansione parte da un insieme di URL, scarica le risorse e inserisce i nuovi link in una coda. Regole di priorità, limiti di frequenza, robots.txt e direttive delle pagine orientano il comportamento.
Da non confondere con
Non è l'indice del motore di ricerca: lo spider acquisisce le pagine, mentre altri sistemi le elaborano, classificano e rendono ricercabili.