Was ist ein Good Bot?

Ein Good Bot ist automatisierte Software, deren Besuche der gecrawlten Website nützen oder sie zumindest respektieren: Suchmaschinen-Crawler, die Seiten auffindbar machen, Uptime- und Performance-Monitore, Feed-Abrufer, Link-Vorschau-Generatoren für Messenger und soziale Plattformen sowie Archiv-Crawler, die das öffentliche Web bewahren. Was Good Bots von schlechten Bots trennt, ist nicht die Automatisierung — beide sind Skripte im großen Maßstab —, sondern Ehrlichkeit und Einvernehmen: Ein Good Bot erklärt, wer er ist, respektiert die Crawl-Regeln der Site und dosiert sich so, dass seine Besuche den Betreiber wenig kosten.

Die Etikette, die sie definiert

Good Bots folgen einem wiedererkennbaren Protokoll. Sie geben sich im User-Agent-String zu erkennen, veröffentlichen Dokumentation über das Verhalten ihres Crawlers und achten die robots.txt — die Datei, in der Betreiber erklären, was gecrawlt werden darf und was tabu ist. Sie halten ihre Anfrageraten moderat, drosseln bei langsamen Servern und rufen effizient ab, statt jede URL zu bombardieren. Etablierte Betreiber gehen weiter und machen ihre Crawler verifizierbar: Suchanbieter veröffentlichen offizielle IP-Bereiche oder unterstützen Reverse-DNS-Verifizierung, sodass eine Site bestätigen kann, dass ein Besucher, der sich als großer Crawler ausgibt, wirklich einer ist. Diese Verifizierbarkeit zählt, weil die Behauptung allein wertlos ist — ein User-Agent-String ist ein Freitextfeld, das jeder füllen kann.

Das Nachahmer-Problem

Diese Lücke schuf eine ganze Missbrauchskategorie: schlechte Bots, die sich als gute tarnen. Scraper und Schwachstellen-Scanner geben sich routinemäßig als bekannte Such-Crawler aus, denn viele Sites setzen diese Namen auf die Allowlist, um ihre Rankings zu schützen — der Fake-Crawler-Trick verwandelt die SEO-Vorsicht einer Site in einen Freifahrtschein. Die Abwehr heißt Verifizieren statt Vertrauen: behauptete Crawler-Identitäten gegen die veröffentlichten IP-Bereiche oder DNS-Einträge des angeblichen Betreibers prüfen und einen fehlgeschlagenen Check als starkes Missbrauchssignal werten — legitime Crawler haben nie einen Grund zu lügen. Traffic-Analysen finden regelmäßig einen nennenswerten Anteil von „Suchmaschinen"-Zugriffen, die genau an diesem Test scheitern.

Good Bots managen, ohne sie zu blockieren

Das operative Ziel des Bot-Managements ist selektiv: verifizierte Crawler willkommen heißen, ihre Kosten steuern und Nachahmer wie Bad Bots stoppen — eine Unterscheidung, die unser Artikel über bösartige Bots und den Schutz vor ihnen vertieft. Praktisch heißt das: Crawl-Regeln und saubere Sitemaps für die erwünschten Bots, Verifizierung für die behaupteten Identitäten und Erkennung für alles andere. Die Platzierung erledigt den Rest: Verifizierungsschichten wie CaptchaFox schützen interaktive Endpunkte — Logins, Formulare, Checkouts —, auf denen kein Crawler legitim zu tun hat; die Such-Indexierung öffentlicher Inhalte läuft unberührt weiter, während Automatisierung genau dort herausgefordert wird, wo sie Schaden anrichten könnte.