Web Crawler

Automatizovaný program vyhledávačů procházející webové stránky a stahující jejich obsah.

Web crawler (též vyhledávací robot, spider či bot – např. Googlebot, SeznamBot) je automatizovaný software, který systematicky prochází webové stránky, stahuje jejich kód a následuje nalezené hypertextové odkazy. Stažený obsah předává k analýze a indexaci do databáze vyhledávače. Roboti se řídí pravidly v souboru robots.txt a respektují vytížení serveru. Optimalizace průchodnosti webu pro crawlery je základním předpokladem technického SEO.