Crawler

Crawler je program, který navštěvuje webové stránky a načítá informace o nich, aby je pak mohl použít jako vstup pro vyhledávací algoritmy. Všechny velké vyhledávače disponují vlastním crawlerem (často velkým množstvým malých, specializovaných crawlerů). Crawler má za úkol najít nové stránky, zanalyzovat je a označit je příslušnými parametry pro další zpracování. Crawler se ale na stránky zpravidla vrací opakovaně pro případ, že by se na stránkách něco změnilo.