Wissen · Eigene Messung
35 zu 0: Was 159 Websites den KI-Crawlern in der robots.txt erlauben
Von Linus Neumann, Newman Strategy · veröffentlicht am · Lesezeit 7 Minuten
Wer KI-Crawler sperrt, sperrt das Training und lässt die Antwort offen. Von 159 geprüften Websites machen es 35 genau so, keine einzige umgekehrt. Dazu ein Messfehler, der die Verbreitung von llms.txt um die Hälfte übertreibt.
Die wichtigsten Zahlen
- 159 Domains abgerufen, 144 davon mit gültiger robots.txt.
- 35 Websites sperren einen Crawler fürs Training und lassen die Crawler für Antworten offen. 0 machen es umgekehrt.
- 98 von 144 sperren keinen einzigen KI-Crawler, das sind 68,1 Prozent.
- Wo genannt, ist Bytespider zu 97,4 Prozent gesperrt, OAI-SearchBot zu 21,4 Prozent.
- Keine der 144 Websites sperrt alle Crawler pauschal über
User-agent: *. - 56 von 159 Websites haben eine echte llms.txt (35,2 Prozent). 24 weitere liefern eine HTML-Seite mit Status 200.
- 7 der 56 llms.txt stammen erkennbar von einem WordPress-Zusatz.
Zwei Sorten KI-Crawler, und nur eine wird gesperrt
KI-Anbieter betreiben zwei Sorten von Crawlern, mit getrennten Namen in der robots.txt.
Crawler fürs Training sammeln Text, aus dem später ein Modell entsteht. Geprüft wurden GPTBot, ClaudeBot, anthropic-ai, Google-Extended, CCBot, Applebot-Extended, Bytespider und meta-externalagent. Wer sie sperrt, will verhindern, dass die eigenen Inhalte in künftige Modelle einfließen.
Crawler zur Beantwortungszeit rufen eine Seite ab, wenn jemand eine Frage stellt oder sucht. Geprüft wurden OAI-SearchBot, PerplexityBot und Claude-SearchBot sowie die Abrufe, die Nutzer auslösen: ChatGPT-User, Perplexity-User und Claude-User. Wer sie sperrt, riskiert, in KI-Antworten nicht mehr als Quelle genannt zu werden.
Eigene Messung, 159 Domains, abgerufen am 31.08.2026
| Verhalten | Websites | Anteil |
|---|---|---|
| sperrt mindestens einen Crawler fürs Training | 46 | 31,9 % |
| sperrt mindestens einen Crawler zur Beantwortungszeit | 11 | 7,6 % |
| sperrt Training, lässt Beantwortung offen | 35 | 24,3 % |
| sperrt Beantwortung, lässt Training offen | 0 | 0 % |
| sperrt beides | 11 | 7,6 % |
| sperrt keinen von beiden | 98 | 68,1 % |
Jede der elf Websites, die einen Crawler zur Beantwortungszeit sperrt, sperrt auch das Training. Im ganzen Bestand gibt es keinen Fall, der in Antworten nicht vorkommen, aber trainiert werden will.
Gesperrt wird namentlich. Keine der 144 Websites sperrt alle Crawler über User-agent: *.
Welche Crawler gesperrt werden
Gezählt wurde, wie oft ein Crawler in der robots.txt namentlich vorkommt und wie oft er dort vollständig gesperrt ist.
| Crawler | Sorte | genannt | gesperrt | Anteil |
|---|---|---|---|---|
| Bytespider | Training | 39 | 38 | 97,4 % |
| meta-externalagent | Training | 36 | 30 | 83,3 % |
| CCBot | Training | 49 | 38 | 77,6 % |
| Applebot-Extended | Training | 37 | 28 | 75,7 % |
| GPTBot | Training | 57 | 35 | 61,4 % |
| anthropic-ai | Training | 22 | 13 | 59,1 % |
| Google-Extended | Training | 50 | 29 | 58,0 % |
| ClaudeBot | Training | 57 | 33 | 57,9 % |
| Perplexity-User | Beantwortung | 16 | 6 | 37,5 % |
| Claude-User | Beantwortung | 14 | 5 | 35,7 % |
| Claude-SearchBot | Beantwortung | 13 | 4 | 30,8 % |
| PerplexityBot | Beantwortung | 37 | 11 | 29,7 % |
| ChatGPT-User | Beantwortung | 35 | 10 | 28,6 % |
| OAI-SearchBot | Beantwortung | 28 | 6 | 21,4 % |
Eigene Messung, 144 gültige robots.txt, 31.08.2026
Die beiden Gruppen überschneiden sich nicht. Alle acht Crawler fürs Training liegen zwischen 57,9 und 97,4 Prozent, alle sechs Crawler zur Beantwortungszeit zwischen 21,4 und 37,5 Prozent.
Bytespider steht fast nur in einer robots.txt, um gesperrt zu werden: 38 von 39 Nennungen sind Sperren. GPTBot und ClaudeBot werden am häufigsten genannt, je 57 Mal. OAI-SearchBot wird seltener genannt und seltener gesperrt, 6 Sperren bei 28 Nennungen.
So sieht die häufigste Regel aus
Das Muster der 35 Websites, als robots.txt geschrieben: Crawler fürs Training werden namentlich ausgeschlossen, alles andere bleibt erlaubt. Das Beispiel zeigt die Bauform, es ist keine Empfehlung für jede Website.
# Training ausschließen
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Suche und Antworten erlauben
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /Die Namen und ihre Bedeutung legen die Anbieter selbst fest und ändern sie gelegentlich. Vor dem Einsatz die aktuelle Dokumentation des jeweiligen Anbieters prüfen.
llms.txt: ein Drittel der Treffer ist keine
Für jede der 159 Domains wurde zusätzlich /llms.txt abgerufen. Das 2024 vorgeschlagene Format soll Sprachmodellen eine geordnete Übersicht über eine Website geben.
| Ergebnis | Domains | Anteil |
|---|---|---|
| Antwort mit Status 200 | 80 | 50,3 % |
| davon tatsächlich eine llms.txt | 56 | 35,2 % |
| davon eine HTML-Seite mit falschem Statuscode | 24 | 15,1 % |
24 von 80 Treffern sind Fehlalarme. Diese Websites liefern für jede nicht vorhandene Adresse ihre normale Seite mit Status 200 aus, statt mit 404 zu antworten. Wer die Verbreitung von llms.txt über den Statuscode misst, kommt auf 50,3 statt auf 35,2 Prozent.
47 der 56 Dateien enthalten mindestens drei Links. Die kürzeste hat 13 Zeilen, die längste 16.063, im Mittel sind es 452.
7 der 56 Dateien beginnen mit einer Zeile wie „Generated by Rank Math SEO“ oder „Generated by All in One SEO Pro“. Sie entstehen automatisch durch einen WordPress-Zusatz.
Nur 28 der 56 Websites mit llms.txt nennen zugleich einen KI-Crawler in ihrer robots.txt. Die andere Hälfte legt eine Datei für Sprachmodelle an, ohne zu regeln, welche Crawler kommen dürfen.
Was das praktisch bedeutet
Erstens: Wer sperrt, trennt Training und Antwort. 35 zu 0 ist eindeutig: Die Websites, die KI-Crawler regeln, wollen nicht trainiert, aber durchaus zitiert werden.
Zweitens: Wer nur GPTBot sperrt, verhindert das Training, nicht die Nennung. Für die Quellen in der ChatGPT-Suche ist OAI-SearchBot zuständig. Umgekehrt gilt: Wer OAI-SearchBot sperrt, nimmt sich aus diesen Suchantworten heraus.
Drittens: Die Namensliste entscheidet. Eine pauschale Sperre kommt nicht vor. Wer KI-Crawler regeln will, muss sie einzeln benennen und die Liste pflegen, weil Anbieter neue Namen einführen.
Viertens: Zwei Drittel regeln gar nichts. 98 von 144 Websites sperren keinen KI-Crawler. Für eine Website, die in KI-Antworten genannt werden will, ist das keine schlechte Ausgangslage.
Fünftens: llms.txt nicht über den Statuscode zählen. 15 Prozent der Domains liefern für eine nicht vorhandene Datei Status 200. Wer die eigene llms.txt prüft, sollte den Inhalt ansehen, nicht nur die Antwort des Servers.
Was diese Messung nicht zeigt
- 159 Domains sind keine Zufallsstichprobe. Es sind Domains, die in unseren Fallprüfungen als zitierende oder verweisende Quelle aufgetaucht sind. Fachmedien, Marketingblogs und Werkzeuganbieter sind überrepräsentiert. Die 35,2 Prozent llms.txt liegen deshalb mit Sicherheit über dem Wert für das Netz insgesamt.
- Eine robots.txt sagt nichts darüber, ob sie befolgt wird. Gemessen wurde, was dort steht.
- „Gesperrt“ heißt:
Disallow: /für diesen Crawler. Teilsperren einzelner Verzeichnisse zählen nicht. Steht für einen Crawler irgendwoDisallow: /, gilt er als gesperrt, auch wenn an anderer Stelle einAllowfolgt. Das kann die Sperrquoten leicht überschätzen. - Vierzehn Crawlernamen sind eine Auswahl. Es gibt weitere.
- Ein Zeitpunkt. Abgerufen am 31. August 2026. Eine robots.txt kann sich täglich ändern.
So wurde gemessen
159 Domains, abgerufen am 31. August 2026 mit einer einzelnen Anfrage je Datei, fünfzehn Sekunden Zeitlimit und ohne Wiederholung. Abgerufen wurden /robots.txt und /llms.txt.
Ausgewertet wurde der Inhalt, nicht der Statuscode. Eine robots.txt zählt nur, wenn sie mindestens eine User-agent-Zeile enthält und nicht mit HTML beginnt. Eine llms.txt zählt nur, wenn sie nicht mit HTML beginnt und entweder eine Markdown-Überschrift am Anfang trägt oder mindestens drei Markdown-Links enthält. 15 der 159 Domains lieferten keine gültige robots.txt, etwa wegen Status 403 oder 404, fehlender Antwort oder einer HTML-Seite.
Erhebung und Auswertung: Linus Neumann, Newman Strategy, August 2026.
Weiterlesen
- KI-Zitate nach Plattform: 14.962 Zitate über sechs Domains gemessen
- Google KI-Modus und KI-Überblicke 2026: was sich in der Trefferliste ändert
Häufige Fragen
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt Text, mit dem OpenAI künftige Modelle trainiert. OAI-SearchBot ruft Seiten ab, damit ChatGPT sie in der Suche als Quelle anzeigen kann. Wer nur GPTBot sperrt, verhindert die Nutzung fürs Training, nicht die Nennung in ChatGPT-Suchantworten.
Wie viele Websites sperren KI-Crawler in der robots.txt?
In unserer Messung von 144 gültigen robots.txt sperrten 46 mindestens einen Crawler fürs Training (31,9 Prozent) und 11 mindestens einen Crawler, der zur Beantwortungszeit abruft (7,6 Prozent). 98 sperrten keinen einzigen KI-Crawler. Die Domains stammen aus Fallprüfungen und sind keine Zufallsstichprobe.
Welcher KI-Crawler wird am häufigsten gesperrt?
Bytespider. Wo er in einer robots.txt genannt wird, ist er in 38 von 39 Fällen vollständig gesperrt, das sind 97,4 Prozent. Am seltensten gesperrt ist OAI-SearchBot mit 6 von 28 Nennungen, 21,4 Prozent.
Wie viele Websites haben eine llms.txt?
In unserer Stichprobe 56 von 159, also 35,2 Prozent. Auf den Abruf antworteten zwar 80 mit Status 200, 24 davon lieferten aber eine gewöhnliche HTML-Seite statt einer llms.txt. Wer nur den Statuscode zählt, kommt auf 50,3 Prozent. Die Stichprobe enthält viele Fachmedien und Werkzeuganbieter und liegt deshalb über dem Wert für das Netz insgesamt.