Was ist robots.txt?

robots.txt ist eine Klartext-Datei im Wurzelverzeichnis einer Website, die erklärt, welche automatisierten Crawler auf welche Pfade zugreifen dürfen. Sie implementiert das Robots-Exclusion-Protokoll, 1994 erfunden und 2022 als RFC 9309 formalisiert, mit bewusst kleiner Grammatik: User-agent-Zeilen benennen einen Crawler, Allow- und Disallow-Regeln stecken seinen Zugriff ab, eine Sitemap-Zeile verweist auf das URL-Inventar der Seite. Fast jede Website hat eine, jeder große Crawler liest sie, und ihre meistmissverstandene Eigenschaft steht in ihrer eigenen Spezifikation: Die Befolgung ist vollständig freiwillig. Die Datei ist ein aufgestelltes Schild, und Schilder binden nur die, die sie lesen wollen.

Was die Datei tatsächlich steuert

Für kooperative Crawler trägt robots.txt echtes Gewicht. Suchmaschinen halten sich damit aus endlosen Kalendern, Facetten-Suchexplosionen und Staging-Pfaden heraus; Seitenbetreiber lenken damit Crawl-Budget auf die Seiten, die zählen. Ihre neueste und am schnellsten wachsende Rolle ist die Einwilligungssignalisierung für KI-Crawler: Modell-Betreiber veröffentlichen User-Agent-Tokens, die Seiten verbieten können, um aus der Trainings-Sammlung auszusteigen, womit eine dreißig Jahre alte Konvention zur De-facto-Schnittstelle einer der umstrittensten Fragen des Webs wurde. Zwei technische Korrekturen verhindern verbreitete Eigenverletzungen: Eine verbotene Seite kann trotzdem in Suchergebnissen auftauchen, wenn andere Seiten sie verlinken (Crawling zu blockieren ist etwas anderes als Indexierung zu blockieren, die noindex braucht), und robots.txt ist öffentlich, weshalb geheime Admin-Pfade darin aufzulisten jedem Angreifer eine Karte in die Hand drückt, wo genau zu suchen ist.

Die Durchsetzungslücke

Das Ehrensystem-Design des Protokolls spaltet die Bot-Welt sauber. Good Bots identifizieren sich, ehren die Regeln und lassen sich gegen veröffentlichte IP-Bereiche verifizieren. Feindselige Automatisierung, etwa Scraper, Credential-Tester und Inventar-Bots, liest dieselbe Datei und behandelt sie höchstens als Aufklärung. Auch Crawl-Betreiber wurden schon beim Abrufen verbotener Pfade oder beim Crawlen unter generischen Browser-Identitäten ertappt, weshalb „wir haben eine robots.txt" in Web-Scraping-Streitigkeiten als Beleg erklärter Politik auftaucht, nicht als Kontrolle, die irgendetwas verhindert hätte. Die Datei definiert, was unautorisiert bedeutet; zu seiner Verhinderung trägt sie nichts bei.

Politik mit Durchsetzung paaren

Eine kohärente Crawl-Politik hat deshalb zwei Schichten mit verschiedenen Jobs. robots.txt erklärt die Regeln am Standard-Ort, etwa Such-Direktiven, KI-Trainings-Opt-outs und Crawl-Delay-Hinweise, und gibt kooperativen Betreibern alles zur Befolgung Nötige, während sie die Aktenlage für Auseinandersetzungen mit dem Rest schafft. Die Durchsetzung fällt dann der Bot-Erkennung zu: prüfen, ob selbst-deklarierte Crawler aus den Netzen ihrer Betreiber kommen, und undeklarierte Automatisierung an den verteidigungswürdigen Endpunkten mit verhaltensbasierter Verifizierung wie CaptchaFox konfrontieren. Wer die erste Schicht auslässt, verschenkt Kooperation, die es gratis gegeben hätte; wer bei der ersten Schicht stehen bleibt, schützt sich exakt vor den Bots, die nie das Problem waren.