Zum Inhalt springen

Forschung von Find AI Now · gemessen am 14. November 2026

Mehr als 9 von 10 australischen Unternehmenswebsites sind offen für KI-Trainingscrawler

Nur 1 von 23 bittet sie fernzubleiben. Und von den Websites, die eine Regel gezielt an KI richten, nutzen vier von fünf eine Regel aus einer Cloudflare-Einstellung, keine Regel, die das Unternehmen selbst geschrieben hat. Dies ist die eigene Studie von Find AI Now über 5.000 australische Unternehmenswebsites.

Die Zahlen

Was 5.000 Websites KI-Crawlern sagen

Eine Website kann Crawler mit einer kleinen öffentlichen Datei namens robots.txt bitten fernzubleiben. Wir haben diese Datei auf einer Zufallsstichprobe von 5.000 australischen .com.au-Websites gelesen. 3.517 hatten Regeln, die wir lesen konnten, und jede Zahl unten ist ein Anteil davon.

  • 96 %

    haben keine Regel, die KI-Trainingscrawler bittet fernzubleiben

    3.365 von 3.517 Websites. Wahrscheinlicher Bereich 95 % bis 96,3 %.

  • 4,3 %

    bitten mindestens einen KI-Trainingscrawler fernzubleiben

    152 von 3.517 Websites, etwa 1 von 23. Wahrscheinlicher Bereich 3,7 % bis 5 %.

  • 82 %

    der Regeln, die auf KI zielen, stammen aus einer einzigen Cloudflare-Einstellung

    81 von 99 Websites. Wahrscheinlicher Bereich 73 % bis 88 %.

  • 0,2 %

    richten eine Regel gezielt an einen Crawler, der Seiten für KI-Antworten in Echtzeit abruft

    7 von 3.517 Websites. Wahrscheinlicher Bereich 0,1 % bis 0,4 %.

Noch eine Zahl: 762 Websites (21,7 %) haben überhaupt keine robots.txt. Das ist in Ordnung. Ohne Datei wird kein Crawler gebeten fernzubleiben.

Was wir gefunden haben

Drei Ergebnisse

1. Die meisten Regeln, die auf KI zielen, stammen aus einer Einstellung, nicht aus einer Regel, die das Unternehmen geschrieben hat

99 Websites sind für Crawler allgemein offen und bitten einen KI-Crawler fernzubleiben. Bei 81 davon ist die Regel ein Standardblock, den Cloudflare in die robots.txt einer Website einfügt, wenn eine Einstellung im Dashboard eingeschaltet ist. Der Wortlaut ist überall derselbe. 17 der 99 hatten Regeln, die auf keiner anderen Website der Stichprobe vorkamen.

Bei Websites hinter Cloudflare tragen 81 von 809 diesen Block, etwa 1 von 10. Bei Websites ohne Cloudflare steht eine Regel, die auf KI zielt, auf 13 von 2.708, etwa 1 von 200.

2. Die Regeln zielen auf das Training, nicht auf Antworten

KI-Unternehmen betreiben zwei Arten von Crawlern. Die eine Art sammelt Seiten, die zum Training künftiger Modelle verwendet werden können. Die andere ruft Seiten ab, um eine Frage zu beantworten, die jemand gerade stellt, oder um den Suchindex aufzubauen, auf den sich diese Antworten stützen.

Fast jede Regel, die wir gefunden haben, gilt nur für die erste Art. 80 der 81 Cloudflare-Blöcke bitten alle vier Trainingscrawler fernzubleiben und keinen der sechs Antwortcrawler. Nur 7 von 3.517 Websites waren allgemein offen und baten einen Antwortcrawler fernzubleiben.

Auf den meisten dieser Websites bittet die Datei also darum, nicht für das Training verwendet zu werden. Sie bittet nicht darum, aus Antworten herausgehalten zu werden. Einer der vier Trainingsnamen, Google-Extended, deckt nach Googles eigener Beschreibung auch ab, dass Gemini eine Seite nutzt, um eine Antwort zu fundieren.

3. Die Websites, die Antwortcrawler abweisen, weisen jeden Crawler ab

60 Websites (1,7 %) bitten mindestens einen Antwortcrawler fernzubleiben. 53 davon bitten jeden Crawler fernzubleiben, und bei 41 davon gehört der Crawler von Google dazu. 27 der 53 liefern die Datei aus, die ein Website-Baukasten für eine Website verwendet, die für Crawler geschlossen ist.

Wenn eine davon eine aktive Unternehmenswebsite ist, bittet sie auch Google fernzubleiben, und das sollte als Erstes behoben werden.

Für Unternehmen

Was Sie in fünf Minuten prüfen können

  1. Öffnen Sie Ihre Datei

    Geben Sie Ihre Webadresse gefolgt von /robots.txt in einen Browser ein, zum Beispiel yourbusiness.com.au/robots.txt. Eine Seite „nicht gefunden“ bedeutet, dass Sie keine Regeln haben und kein Crawler gebeten wird fernzubleiben.

  2. Suchen Sie nach einer Zeile mit Disallow: /

    Eine Zeile Disallow: / ohne etwas nach dem Schrägstrich gilt für die ganze Website. Die Zeilen User-agent direkt darüber nennen die Crawler, für die sie gilt.

  3. Steht darüber der Name *, ist jeder Crawler betroffen

    Dazu gehört Google. Auf einer aktiven Website sollten Sie das als Erstes beheben. Es kann aus der Zeit übrig sein, als die Website gebaut wurde.

  4. Lauten die Namen GPTBot, ClaudeBot, Google-Extended, CCBot

    Sie bitten darum, nicht für das KI-Training verwendet zu werden. Das ist eine nachvollziehbare Entscheidung. Gut zu wissen: Laut Google deckt Google-Extended auch ab, dass Gemini eine Seite nutzt, um eine Antwort zu fundieren.

  5. Sind es Antwortcrawler

    OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User: Sie bitten darum, nicht in KI-Antworten in Echtzeit zu erscheinen. Behalten Sie das nur, wenn Sie es so wollen.

  6. Steht in der Datei „BEGIN Cloudflare Managed content“

    Die Regeln stammen aus einer Einstellung in Cloudflare. Wer Ihr Cloudflare-Konto verwaltet, kann sie im Dashboard sehen und ändern. Fragen Sie nach, ob das eine bewusste Entscheidung war.

Wenn Ihr Website-Baukasten die Datei für Sie schreibt, liegt die Einstellung im Baukasten, nicht in der Datei. Sehen Sie in seinen SEO- oder Crawler-Einstellungen nach.

Ehrlich gesagt

Was diese Studie nicht zeigt

  • robots.txt ist eine Bitte. Die Datei zeigt, worum eine Website bittet, nicht was ein Crawler tut. „Offen für“ bedeutet auf dieser Seite, dass die Datei keine Regel enthält, die diesen Crawler bittet, der Startseite fernzubleiben.
  • Eine Firewall kann einen Crawler abweisen, auch wenn robots.txt ihn zulässt. Das haben wir nicht getestet, und wir haben keine Anfrage unter dem Namen eines KI-Unternehmens gesendet. 252 der 5.000 Websites (5 %) haben unsere eigene, klar benannte Anfrage nach der Datei abgelehnt.
  • Eine .com.au-Adresse gehört nicht immer zu einem kleinen Unternehmen. Wir haben die 10.000 am besten vernetzten .com.au-Websites entfernt, um die Stichprobe zu kleineren Websites hin zu verschieben, aber sie enthält noch einige große Unternehmen und einige ruhende Websites.
  • 1.483 der 5.000 Websites der Stichprobe gaben uns keine Regeln zum Lesen: keine Antwort, ein Fehler oder eine Ablehnung. Jeder Prozentsatz hier bezieht sich auf die 3.517, bei denen das möglich war.
  • Eine Datei, die für 51 Websites der Stichprobe von einem einzigen Server ausgeliefert wird, lässt sich je nach lesender Software auf zwei Arten lesen. Streng gelesen bitten 5,8 % einen Trainingscrawler fernzubleiben, nicht 4,3 %, und 94,2 % sind offen. Wir verwenden die niedrigere Zahl der Sperren. Die Schlagzeile gilt so oder so.
  • Die Zahlen beschreiben diese Stichprobe an einem Tag. Sie sind keine Zählung aller australischen Unternehmen.

So haben wir gemessen

Methode

Stichprobe
5.000 Domains, zufällig gezogen aus den 1.085.965 .com.au-Domains im öffentlichen Webgraphen von Common Crawl für August bis Oktober 2026, nachdem die 10.000 entfernt wurden, auf die andere Websites am häufigsten verlinken. Die Ziehung verwendet einen festen Startwert und lässt sich daher wiederholen.
Anfrage
Eine Anfrage pro Website nach /robots.txt, unter unserem eigenen Namen mit Kontaktadresse. Keine Seite wurde gelesen und niemand wurde kontaktiert.
Als Bitte fernzubleiben gezählt
Die Startseite der Website ist für diesen Crawler untersagt, nach den Abgleichsregeln in RFC 9309. Eine Regel, die nur einen Ordner sperrt, wird nicht gezählt.
Trainingscrawler
GPTBot, ClaudeBot, Google-Extended, CCBot
Antwortcrawler
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User
Bereiche
95 % Konfidenz (Wilson). „Wahrscheinlicher Bereich“ bedeutet auf dieser Seite diesen Bereich.
Genannte Websites
Keine. Wir veröffentlichen nur Zählungen.
Gemessen
14. November 2026, von einem Rechenzentrum in den Vereinigten Staaten aus.

Wessen Studie das ist

Dies ist die eigene Forschung von Find AI Now. Wir haben die Stichprobe gewählt, die Methode geschrieben, die Messung am 14. November 2026 durchgeführt und die Ergebnisse gezählt. Niemand außerhalb von Find AI Now hat dafür bezahlt oder daran mitgewirkt. Find AI Now wird von der FIND AI NOW PTY LTD in Melbourne betrieben.

Sie dürfen diese Zahlen mit einem Link auf diese Seite zitieren. Fragen zur Methode oder eine Korrektur: hello@findainow.com. Unsere anderen Studien finden Sie auf der Studienseite.

robots.txt ist ein Teil der Frage, ob KI-Assistenten ein Unternehmen lesen und nennen können. Unser AI Search Visibility Audit (auf Englisch) prüft den Zugang für Crawler und außerdem, wie die Assistenten zu Ihrem Unternehmen antworten.

Quellen

Die Zahlen weiterverwenden

Die Zahlen stehen unter der Lizenz Creative Commons Namensnennung 4.0: Sie dürfen sie mit Nennung von Find AI Now und einem Link auf diese Seite weiterverwenden. Die Zahlen als Daten (JSON) · Diese Studie als Markdown (auf Englisch)