Zum Hauptinhalt springen
Glossar

Was ist ein Crawler?

Ein Crawler, auch Webcrawler, Bot oder Spider genannt, ist ein Programm, das Websites automatisch aufruft, ihre Inhalte ausliest und den Links zu weiteren Seiten folgt. Suchmaschinen nutzen Crawler, um neue und geänderte Seiten zu finden und für ihren Index zu erfassen. Auch Anbieter von KI-Systemen und SEO-Tools setzen Crawler ein.

Wie funktioniert ein Crawler?

Ein Crawler startet bei bekannten Adressen, etwa aus der Sitemap, ruft die Seiten ab und folgt den darin enthaltenen Links. Vorher liest er die robots.txt, um zu prüfen, welche Bereiche er besuchen darf. Google stellt die Seiten zusätzlich dar und führt dabei auch JavaScript aus. Erst danach entscheidet die Suchmaschine über die Indexierung.

Welche Arten von Crawlern gibt es?

Suchmaschinen-Crawler wie der Googlebot oder der Bingbot erfassen Seiten für die Suchergebnisse. KI-Crawler wie GPTBot von OpenAI, ClaudeBot von Anthropic oder PerplexityBot sammeln Inhalte für KI-Systeme, was für GEO eine Rolle spielt. SEO-Crawler schließlich nutzen Unternehmen, um ihre eigene Website zu analysieren.

Was ist das Crawl-Budget?

Das Crawl-Budget bezeichnet die Menge an Seiten, die eine Suchmaschine in einem bestimmten Zeitraum auf einer Website abruft. Vor allem für große Websites ist es wichtig: Doppelte Inhalte, unnötige Parameter-URLs, Weiterleitungsketten und Fehlerseiten verbrauchen Budget, das dann für wichtige Seiten fehlt.

Wie lassen sich Crawler steuern und nutzen?

Gesteuert werden Crawler über die robots.txt, die Noindex-Anweisung und Linkattribute. Die Google Search Console zeigt in der Crawling-Statistik, wie oft Google die Website besucht. Eigene SEO-Crawler wie Screaming Frog finden tote Links, Weiterleitungen, fehlende Title-Tags oder doppelte Überschriften, besonders vor und nach einem Relaunch.

Verwandte Begriffe: robots.txt · Indexierung · Sitemap · Noindex / Index · Weiterleitung

Mehr zur datenbasierten Sichtbarkeit im Netz: Digital Marketing Consulting

Harula Jung, Marketing-Technologie Consultant bei HAJUMA® Consulting

Harula Jung

Über die Autorin

Marketing-Technologie Consultant · Gründerin HAJUMA® Consulting

Seit über 15 Jahren im Online-Marketing, mit Schwerpunkt auf Digital Analytics, Web-Tracking und Marketing-Controlling.


„Ich glaube den Zahlen erst, wenn ich sie selbst geprüft habe. Freude an Daten, professionelle Arbeit und offene Kommunikation – dafür steht HAJUMA® Consulting. Die Belohnung ist das langfristige Vertrauen meiner Kunden. Gerne unterstütze ich auch Sie.“