Der Webcrawler ist ein Bot, der Webseiten im Internet crawl (durchsucht), indem er Links folgt und Inhalt auswertet.