Was ist die robots.txt?
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen und anderen Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Sie ist unter der Adresse domain.de/robots.txt erreichbar und wird von seriösen Crawlern vor jedem Besuch gelesen. Die robots.txt ist eine Empfehlung, keine technische Sperre.
Wie ist eine robots.txt aufgebaut?
Mit „User-agent“ wird festgelegt, für welchen Crawler eine Regel gilt, mit „Disallow“ werden Bereiche gesperrt und mit „Allow“ ausdrücklich freigegeben. Zusätzlich verweist die Datei meist auf die Sitemap. Ein Beispiel:
User-agent: *
Disallow: /administrator/
Sitemap: https://domain.de/sitemap.xml
Hier dürfen alle Crawler die Website besuchen, nur nicht den Admin-Bereich.
Was ist der Unterschied zwischen robots.txt und Noindex?
Die robots.txt regelt das Crawlen, also ob eine Seite abgerufen werden darf. Noindex regelt die Indexierung, also ob eine Seite in den Suchergebnissen erscheinen darf. Eine per robots.txt gesperrte Seite kann trotzdem im Index landen, etwa wenn andere Seiten auf sie verlinken. Wer eine Seite aus den Suchergebnissen entfernen will, setzt deshalb Noindex und sperrt sie nicht gleichzeitig per robots.txt.
Welche Fehler passieren häufig?
Besonders folgenschwer ist die Zeile „Disallow: /“, die die gesamte Website sperrt. Sie wird oft aus einer Testumgebung übernommen, etwa nach einem Relaunch. Problematisch ist auch das Sperren von CSS- oder JavaScript-Dateien, da Google die Seiten dann nicht richtig darstellen kann. Prüfen lässt sich die robots.txt im entsprechenden Bericht der Google Search Console.
Wie wirkt sich die robots.txt auf KI-Crawler aus?
Auch Anbieter von KI-Systemen wie OpenAI, Anthropic, Google oder Perplexity nutzen eigene Crawler, die sich über die robots.txt gezielt zulassen oder sperren lassen. Wer sie sperrt, schützt seine Inhalte zwar vor der Nutzung, verringert aber die Chance, in KI-Antworten genannt zu werden. Diese Abwägung ist ein wichtiger Bestandteil von GEO.
Verwandte Begriffe: Noindex / Index · Indexierung · Sitemap · GEO · SEO
Mehr zur datenbasierten Sichtbarkeit im Netz: Digital Marketing Consulting

Harula Jung
Marketing-Technologie Consultant · Gründerin HAJUMA® Consulting
Seit über 15 Jahren im Online-Marketing, mit Schwerpunkt auf Digital Analytics, Web-Tracking und Marketing-Controlling.
„Ich glaube den Zahlen erst, wenn ich sie selbst geprüft habe. Freude an Daten, professionelle Arbeit und offene Kommunikation – dafür steht HAJUMA® Consulting. Die Belohnung ist das langfristige Vertrauen meiner Kunden. Gerne unterstütze ich auch Sie.“






