Crawler

Ein Webcrawler ist ein Computerprogramm, welches permanent und automatisch das World Wide Web (www) durchsucht und dabei die Websites analysiert und für die Suchmaschine indexiert. Andere Begriffe für Crawler sind auch Spider, Searchbot oder Robot. Indexierte Seiten werden schliesslich auf der Suchergebnisseite (SERP) aufgeführt.