Pojmem robot nebo-li crawler (někdy též spider) označujeme software, který využívají fulltextové vyhledavače pro sběr dat. Roboti více či méně pravidelně procházejí všechny stránky na světovém internetu, stahují si o nich různorodé informace a řadu z nich si ukládají do svých databází (proces indexování stránek). Takto uložené (nebo-li zaindexované) stránky pak algoritmus fulltextového vyhledavače řadí ve výsledcích hledání podle kritérií, která má nastavené jeho algoritmus.
Crawler (robot, spider) je nepostradatelnou součástí fulltextového vyhledavače, který "krmí" jeho databázi daty.